- 博客(3)
- 资源 (6)
- 收藏
- 关注
原创 浅谈MMSEG分词算法
最近看了下MMSEG分词算法,觉得这个算法简单高效,而且还非常准确 作者声称这个规则达到了99.69%的准确率并且93.21%的歧义能被这个规则消除。 核心思想是抽取3个可能的词(存在多个组合),然后根据4个消歧义规则确定到底选择那个组合 1. 组合长度最大 2. 组合中平均词语长度最大 3. 词语长度的变化率最小 4. 计算组合中所有单字词词频的自然对数,然后将得到的值相加,取总
2013-12-25 20:38:03 13825
原创 hive查询hbase
背景 hbase查询的确是不太方便,除了指定rowkey,或者通过指定startkey stopkey进行scan之外,没有更有效的查询方式 如果想通过列值过滤,只能全表扫描了 如果要搞什么group by或者order by(除非你的rowkey做了相应设计) 更是没法弄 在传统的mysql/oracle得心应手的查询在hbase上就是束手束脚 当然可以通过写hadoop j
2013-12-24 14:49:54 12538 3
原创 谈谈html转义字符
偶尔会在数据中看到诸如' 这样的字符,特征如下 以&#开头,中间是一串数字,以;结尾以&开头,中间一串字符,以;结尾 比如最常见的 或者等价的 浏览器遇到这些转义符,会转移回来,但如果通过代码识别? org.apache.commons.lang.StringEscapeUtils.unescapeHtml提供了很好的说明 遇到上面的第一种情况
2013-12-12 01:07:13 10595
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人