2013年12月_pwlazy

12月

原创浅谈MMSEG分词算法

最近看了下MMSEG分词算法，觉得这个算法简单高效，而且还非常准确作者声称这个规则达到了99.69%的准确率并且93.21%的歧义能被这个规则消除。核心思想是抽取3个可能的词（存在多个组合），然后根据4个消歧义规则确定到底选择那个组合 1. 组合长度最大 2. 组合中平均词语长度最大 3. 词语长度的变化率最小 4. 计算组合中所有单字词词频的自然对数，然后将得到的值相加，取总

2013-12-25 20:38:03 13779

原创 hive查询hbase

背景hbase查询的确是不太方便，除了指定rowkey，或者通过指定startkey stopkey进行scan之外，没有更有效的查询方式如果想通过列值过滤，只能全表扫描了如果要搞什么group by或者order by（除非你的rowkey做了相应设计）更是没法弄在传统的mysql/oracle得心应手的查询在hbase上就是束手束脚当然可以通过写hadoop j

2013-12-24 14:49:54 12518 3

原创谈谈html转义字符

偶尔会在数据中看到诸如' 这样的字符，特征如下以&#开头，中间是一串数字，以；结尾以&开头，中间一串字符，以；结尾比如最常见的或者等价的浏览器遇到这些转义符，会转移回来，但如果通过代码识别？ org.apache.commons.lang.StringEscapeUtils.unescapeHtml提供了很好的说明遇到上面的第一种情况

2013-12-12 01:07:13 10566