![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
lucene
fzu_rookie
这个作者很懒,什么都没留下…
展开
-
Lucene自定义分词:合并IK分词+二元分词
索引命中效果不佳,采用IK分词与二元分词的效果都不是特别好,于是设计了新的自定义分词器,先将句子用IK分词分开,再对长度超过3的词进行二元分词。以下是分词器的实现效果图。 实现思路先建立IK分词器,在通过第一层filter将IK分的词截留,长度大于等于3的词置入CJK分词器进行处理,然后得到的结果送入第二层filter中进行去重。因为在上一层中会出现大量重复词.下面贴代码。package c原创 2015-09-23 15:39:58 · 3427 阅读 · 0 评论 -
solr自定义分词报错:casused by NoMethodException <init>(map<string,string>)
部署上一篇的博客提到的自定义分词器有2种办法。 IK+二元合并自定义分词方法1 直接不修改代码编译,在schema.xml中添加如下部署如下声明<fieldType name="text_iknorms" class="包名.类名"> <analyzer class="包名.类名"/> </fieldType> 方法2 在schema.xml中部署1层tokenizer+2层fi原创 2015-09-25 23:13:03 · 521 阅读 · 0 评论 -
Lucene4.10.4实践 索引联合查询数据库实现查询更快
需求实习期间领导要我使用Lucene(不使用solr)将一个同事所要查询的数据索引起来,以达到更快的查询速度。同事索要查询的数据共存在于两张表中,一张是街道表,一张是区划表。映射关系是一个区划对应N个街道。搜索效率要达到1秒千次。数据库操作SELECT area_id, area_name, parent_id, parent_name, area_leve原创 2015-11-05 17:29:59 · 1549 阅读 · 0 评论 -
文章观点提取的几种测试
有需求要从文章里面如果有观点就摘出来,没有观点就放过去,在一开始的demo中我尝试了2种办法。首先对文本进行一些必要的清洗处理,去掉无意义符号,去掉前后空格等等,然后将文章分割成N个句子,句子的分隔符以句号或感叹号等分句符进行判断。然后对分割好的句子进行以下操作1.使用依存句法分析采取HanLP对句子进行依存句法分析,得到句子的语法树。使用一些观点句子进行测试,比如原创 2016-08-25 09:30:20 · 4065 阅读 · 3 评论