solr中文分词

1.对于中文分词的了解:对于中文缺少词的明确划分,大多的词是双字或者多字,拉丁语系的词就天然的是空格划分,一句话若干个单词,汉语一句话分词就没有明显的界限,需要人为主观判断,而且各不相同。

2.使用IK进行中文分词,操作简单,而且可扩展自己的分词词库。

3.首先加入IKAnalyzer的jar包,可以直接在apache-solr-3.6.2\example\solr下建立lib,放在lib下;

4.配置 schema.xml文件

在schema.xml主要配置了以下内容:fieldType和fields。其中,fieldType是用来配置各种fieldType的类型的,fields则是配置建索引的每个域的名字,是否分词,是否存储的。

首先配置: 

 <fieldType name="text_zh" class="solr.TextField" positionIncrementGap="100">
   <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="false" />
     </analyzer>
   <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="false" />
     </analyzer>
  </fieldType>

再配置:(这里是以content内容来检索分词的)

  <field name="content" type="text_zh" stored="true" indexed="true"/>

5.启动solr,到http://localhost:8983/solr/admin/analysis.jsp,如果是tomcat为http://localhost:8080/solr/admin/analysis.jsp


出现分词结果。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值