- 博客(4)
- 收藏
- 关注
RSS订阅原创 Viterbi分词详解-hanlp
1.根据词库，生成所有所有字可能组成的词（词网）。例如：当下雨天地面积水分外严重0:[ ]1:[当, 当下]2:[下, 下雨, 下雨天]3:[雨, 雨天]4:[天, 天地]5:[地, 地面]6:[面, 面积]7:[积, 积水]8:[水, 水分]9:[分, 分外]10:[外]11:[严, 严重]12:[重]13:[ ]前后空为起始和末尾标志2.通过遍历上述词网0：1:当 A1， 当下 A2通过“当”...
2018-07-16 10:39:37
1264
1
原创 中国人名识别
基于角色标注的中国人名识别的原理和流程：编码代码意义例子BPf姓氏张华平先生CPm双名的首字张华平先生DPt双名的末字张华平先生EPs单名张浩说：“我是一个好人”FPpf前缀老刘、小李 GPlf后缀王总、刘老、肖氏、吴妈、叶帅KPp人名的上文又来到于洪洋的家。LPn人名的下文新华社记者黄文摄MPpn两个中国人名之间的成分编剧邵钧林和稽道青说UPpf人名的上文和姓成词这里有关天培的壮烈VPnw人名...
2018-07-16 10:38:44
3378
原创 自定义插件
通过重写QueryParser实现 1，继承CustomScoreProvider类，重写customScore方法，从DocValues中动态读取评分有关因子，计算后，影响总评分 2，继承CustomScoreQuery类，重写getCustomScoreProvider方法，需要用到1，返回自定义的CustomScoreProvider类 到此，在lucene中就完事了，但是在solr中我们还...
2018-07-16 10:36:57
199
原创 倒排索引的利用
1.配置需要对schema中的查询字段设置indexed="true" termPositions="true" termVectors="true" 2.termVector使用通过termVector = reader.getTermVector(int docID, String field)获取文档id对应字段向量通过字段向量，可以获取该字段中所有词和其词频，暂时还未找到方法获取其位置。3...
2018-07-16 10:35:47
474
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人