学习淘淘商城第三十七课（中文分析器IK-Analyzer的使用）

最新推荐文章于 2022-11-22 14:59:14 发布
最新推荐文章于 2022-11-22 14:59:14 发布
阅读量289 收藏
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anaitudou/article/details/81476568
版权

 在Solr中默认是没有中文分析器的，需要手工配置，配置一个FieldType，在FieldType中指定中文分析器。另外，Solr中的字段必须先定义，后使用。

      下面分步骤进行操作

第一步：将IK-Analyzer的压缩包上传到solr服务器上。如下所示。

[root@itcast07 ~]# cd /usr/local/software/
[root@itcast07 software]# ll
total 176784
drwxr-xr-x 9 root root      4096 Aug  6 18:41 apache-tomcat-7.0.47
-rw-r--r-- 1 root root   8234674 Jul  2 23:57 apache-tomcat-7.0.47.tar.gz
-rw-r--r-- 1 root root     17510 Jul  2 23:57 fastdfs-nginx-module_v1.16.tar.gz
-rw-r--r-- 1 root root    345400 Jul  2 23:57 FastDFS_v5.05.tar.gz
-rw-r--r-- 1 root root   2159463 Aug  6 19:26 IKAnalyzer2012FF_hf1.zip
-rw-r--r-- 1 root root    102378 Jul  2 23:57 libfastcommon-master.zip
-rw-r--r-- 1 root root    804164 Jul  2 23:57 nginx-1.6.2.tar.gz
-rw-r--r-- 1 root root    804164 Sep 16  2014 nginx-1.6.2.tar.gz.1
-rw-r--r-- 1 root root     12248 Jul  2 23:57 ngx_cache_purge-2.3.tar.gz
-rw-r--r-- 1 root root   1738465 Jul 31 02:10 redis-4.0.10.tar.gz
-rw-r--r-- 1 root root     91648 Sep 28  2017 redis-4.0.1.gem
-rw-r--r-- 1 root root  16678101 Aug  1 01:21 ruby-2.2.7.tar.gz
-rw-r--r-- 1 root root 150010621 Aug  6 02:47 solr-4.10.3.tgz
[root@itcast07 software]#

第二步：安装zip和unzip命令（因为最小化安装的CentOS6没有unzip命令）

[root@itcast07 software]#  yum install zip unzip

第三步：解压，如下所示

[root@solr-server software]# unzip IKAnalyzer2012FF_hf1.zip
[root@itcast07 software]# unzip IKAnalyzer2012FF_hf1.zip
[root@itcast07 software]# ll
total 176788
drwxr-xr-x 9 root root      4096 Aug  6 18:41 apache-tomcat-7.0.47
-rw-r--r-- 1 root root   8234674 Jul  2 23:57 apache-tomcat-7.0.47.tar.gz
-rw-r--r-- 1 root root     17510 Jul  2 23:57 fastdfs-nginx-module_v1.16.tar.gz
-rw-r--r-- 1 root root    345400 Jul  2 23:57 FastDFS_v5.05.tar.gz
drwxr-xr-x 3 root root      4096 Oct  2  2015 IKAnalyzer2012FF_hf1
-rw-r--r-- 1 root root   2159463 Aug  6 19:26 IKAnalyzer2012FF_hf1.zip
-rw-r--r-- 1 root root    102378 Jul  2 23:57 libfastcommon-master.zip
-rw-r--r-- 1 root root    804164 Jul  2 23:57 nginx-1.6.2.tar.gz
-rw-r--r-- 1 root root    804164 Sep 16  2014 nginx-1.6.2.tar.gz.1
-rw-r--r-- 1 root root     12248 Jul  2 23:57 ngx_cache_purge-2.3.tar.gz
-rw-r--r-- 1 root root   1738465 Jul 31 02:10 redis-4.0.10.tar.gz
-rw-r--r-- 1 root root     91648 Sep 28  2017 redis-4.0.1.gem
-rw-r--r-- 1 root root  16678101 Aug  1 01:21 ruby-2.2.7.tar.gz
-rw-r--r-- 1 root root 150010621 Aug  6 02:47 solr-4.10.3.tgz
You have new mail in /var/spool/mail/root
[root@itcast07 software]# 

       解压完后，我们到IKAnalyzer2012FF_hf1目录下查看都有哪些文件，如下所示。其中doc当然是文档了；ext_stopword.dic是停用词词典（在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words（停用词）。这些停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表。但是，并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。）IKAnalyzer.cfg.xml是配置文件，mydict.dic是扩展词典。IKAnalyzer2012FF_u1.jar是核心包。

[root@itcast07 IKAnalyzer2012FF_hf1]# ll
total 2004
drwxr-xr-x 5 root root    4096 Oct  2  2015 doc
-rw-r--r-- 1 root root     168 Sep 11  2015 ext_stopword.dic
-rw-r--r-- 1 root root 1165908 Sep 11  2015 IKAnalyzer2012FF_u1.jar
-rw-r--r-- 1 root root     419 Sep 11  2015 IKAnalyzer.cfg.xml
-rw-r--r-- 1 root root  841268 Sep 11  2015 IKAnalyzer中文分词器V2012_FF使用手册.pdf
-rw-r--r-- 1 root root   17778 Sep 11  2015 LICENSE.txt
-rw-r--r-- 1 root root      12 Sep 11  2015 mydict.dic
-rw-r--r-- 1 root root     278 Sep 11  2015 NOTICE.txt
[root@itcast07 IKAnalyzer2012FF_hf1]#

第四步：把分析器的jar包添加到solr工程中

[root@itcast07 IKAnalyzer2012FF_hf1]# cp IKAnalyzer2012FF_u1.jar /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
[root@itcast07 IKAnalyzer2012FF_hf1]#


第五步：把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath。

       我们需要先在/usr/local/solr/tomcat/webapps/solr/WEB-INF/目录下创建classes目录，如下所示。

[root@itcast07 IKAnalyzer2012FF_hf1]# mkdir /usr/local/solr/tomcat/webapps/solr/WEB-INF/classes
[root@itcast07 IKAnalyzer2012FF_hf1]#

        下面就是copy操作，如下所示。

[root@itcast07 IKAnalyzer2012FF_hf1]# cp IKAnalyzer.cfg.xml ext_stopword.dic mydict.dic /usr/local/solr/tomcat/webapps/solr/WEB-INF/classes
[root@itcast07 IKAnalyzer2012FF_hf1]#

        注意：扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。

第六步：配置fieldType。

      需要在solrhome/collection1/conf/schema.xml中配置，我们先到schema.xml所在的目录，如下所示。

[root@itcast07 IKAnalyzer2012FF_hf1]# cd /usr/local/solr/solrhome/collection1/conf
[root@itcast07 conf]# ll
total 292
-rw-r--r-- 1 root root  1068 Aug  6 19:00 admin-extra.html
-rw-r--r-- 1 root root   928 Aug  6 19:00 admin-extra.menu-bottom.html
-rw-r--r-- 1 root root   926 Aug  6 19:00 admin-extra.menu-top.html
drwxr-xr-x 3 root root  4096 Aug  6 19:00 clustering
-rw-r--r-- 1 root root  3974 Aug  6 19:00 currency.xml
-rw-r--r-- 1 root root  1348 Aug  6 19:00 elevate.xml
drwxr-xr-x 2 root root  4096 Aug  6 19:00 lang
-rw-r--r-- 1 root root 78514 Aug  6 19:00 mapping-FoldToASCII.txt
-rw-r--r-- 1 root root  2868 Aug  6 19:00 mapping-ISOLatin1Accent.txt
-rw-r--r-- 1 root root   873 Aug  6 19:00 protwords.txt
-rw-r--r-- 1 root root    33 Aug  6 19:00 _rest_managed.json
-rw-r--r-- 1 root root   450 Aug  6 19:00 _schema_analysis_stopwords_english.json
-rw-r--r-- 1 root root   172 Aug  6 19:00 _schema_analysis_synonyms_english.json
-rw-r--r-- 1 root root 60689 Aug  6 19:00 schema.xml
-rw-r--r-- 1 root root   921 Aug  6 19:00 scripts.conf
-rw-r--r-- 1 root root 74827 Aug  6 19:00 solrconfig.xml
-rw-r--r-- 1 root root    13 Aug  6 19:00 spellings.txt
-rw-r--r-- 1 root root   781 Aug  6 19:00 stopwords.txt
-rw-r--r-- 1 root root  1119 Aug  6 19:00 synonyms.txt
-rw-r--r-- 1 root root  1416 Aug  6 19:00 update-script.js
drwxr-xr-x 2 root root  4096 Aug  6 19:00 velocity
drwxr-xr-x 2 root root  4096 Aug  6 19:00 xslt
[root@itcast07 conf]#

       编辑schema.xml，使用Shift+G就可以直接到文件的末尾，然后添加如下内容

        <fieldType name="text_ik" class="solr.TextField">
                <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
        </fieldType>

第七步：业务字段配置

       在淘淘商城的商品搜索功能当中，我们可能用到的字段如下，由于数据库中id字段和solr中的id同名，我们便使用solr的id代替商品id。也就是说，我们需要配置6个业务字段。

1、商品id
2、商品title
3、卖点
4、价格
5、商品图片
6、商品分类名称
7、商品描述

      在schema.xml的末尾添加的业务字段如下所示。

<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_sell_point" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="long" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category_name" type="string" indexed="true" stored="true" />
<field name="item_desc" type="text_ik" indexed="true" stored="false" />

第八步：配置复制域

      在schema.xml的末尾添加复制域，如下所示，复制域的好处是可以提高查询效率，原来需要查询多个字段的，现在只需要查询一个字段就可以了（因为各个字段都把内容复制到一块儿了，查询也就方便了）

<field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
<copyField source="item_title" dest="item_keywords"/>
<copyField source="item_sell_point" dest="item_keywords"/>
<copyField source="item_category_name" dest="item_keywords"/>
<copyField source="item_desc" dest="item_keywords"/>
第九步：重启tomcat

       关闭tomcat的命令如下。

[root@solr-server tomcat]# bin/shutdown.sh

      启动

[root@solr-server tomcat]# bin/startup.sh


        重启之后，我们看看字段是否有我们刚才定义的几个，发现是有的，如下图所示。

      下面我们来测试中文分词器是否可用，我们选择item_desc字段，我们在Field Value当中添加一段中文，然后点击"Analyse Values"按钮，就可以开始分析了，分析结果如下。可以看到，我们的中文分析器配置成功了。

 

 

anaitudou
关注
专栏目录
Java开源分词系统IKAnalyzer学习（三） 流程
lengyuhong的专栏
11-09 5089
为了学习的方便，我用如下代码跑一遍业务流程：源代码： String t = "一件红色西装"; System.out.println(t); IKSegmentation ikSeg = new IKSegmentation(new StringReader(t) ,true); try { Lexeme l = null; while( (l = ikSeg.next()) != null){ System.out.println(l); }
中文分析器IK-Analyzer的使用
AthlenaA的博客
08-30 1569
中文分析器IK-Analyzer的使用 在Solr中默认是没有中文分析器的，需要手工配置，配置一个FieldType，在FieldType中指定中文分析器。另外，Solr中的字段必须先定义，后使用。 下面分步骤进行操作 第一步：将IK-Analyzer的压缩包上传到solr服务器上。如下所示。 [root@solr-server software]# ll 总用量 335576 drwxr-xr-...
Lucene 中文分词器 Ik-Analyzer 使用教程
weixin_42631192的博客
06-04 363
参考： https://blog.csdn.net/wangmx1993328/article/details/82258785
IKAnalyzer源码学习
chuozou0913的博客
03-11 287
名词说明 Lexeme(词元)：成功识别的完整的词（在下面论述中为了方便表达，扩展了其不完整的情况，实际中不存在）。 AnalyzeContext：分词过程中的上下文环境，非线程安全。 LexemePath：词元路径（或者矢量），用于歧义消除。 Segmenter：分词器。 完整词：一个词库...
Lucene入门(3) | 利用 IK-analyzer 进行中文分词
Sartin的博客
05-22 575
文章目录利用 IK-analyzer 进行中文分词分析器（Analyzer）的执行过程实操代码一、不配置暂停词和字典二、配置暂停词和字典 利用 IK-analyzer 进行中文分词 分析器（Analyzer）的执行过程 如下图是语汇单元的生成过程： 从一个Reader字符流开始，创建一个基于Reader的Tokenizer分词器，经过三个TokenFilter生成语汇单元Token。 要看分析器的分析效果，只需要看Tokenstream中的内容就可以了。每个分析器都有一个方法tokenStream，返回一
ik-analyzer-8.5.0-jar
02-15
ik-analyzer是一款在Java环境下广泛使用的开源中文分词器，专为满足Java开发者在信息检索、文本分析等领域的需求而设计。这个资源是ik-analyzer的8.5.0版本，包含了一个名为"ik-analyzer-8.5.0-jar"的JAR文件，它是...
ik-analyzer-7.6.0-jar
02-15
Analyzer analyzer = new IKAnalyzer(true); TokenStream tokenStream = analyzer.tokenStream("content", new StringReader("你的中文文本")); for (Token token : TokenIterator(tokenStream)) { System.out....
solr中文分词jar包ik-analyzer 含class配置 ik-analyzer-7.5.0
04-11
Solr是一款强大的全文搜索引擎，广泛应用于各种大数据检索场景。在处理中文内容时，分词是...总之，Ik Analyzer 7.5.0是Solr处理中文文本的得力工具，通过合理的配置和使用，可以提升Solr在中文搜索中的性能和准确性。
ik-analyzer.rar
11-14
例如，我们可以在字段类型定义中设置Analyzer为"org.wltea.analyzer.lucene.IKAnalyzer"，这样Solr就会使用ik-analyzer进行分词。 标签中提到的“ik-analyzer-solr”表明这是一个专门为Solr优化的版本，可能包含了...
ik-analyzer-solr-6.x.jar
11-19
solr更新到6.x的版本了，ik-analyzer-5.x.jar又不好使了。 无意间从"随-忆"的博客中看到了如何去修改源代码，从而让分词器能够适应6.x的版本，亲自尝试了一下，果然可以，于是奉上了自己重新编译的jar包。 6.x的版本，我一共编译了3个，如下。理论上6.0.0的jar包就可以支持所有6.x的版本了，但有些强迫症的我，还是针对了最新版本又编译了2个，反正也没有什么坏处。 ik-analyzer-solr-6.0.0.jar ik-analyzer-solr-6.2.1.jar ik-analyzer-solr-6.3.0.jar 更多的相关信息，请参照我的博客 http://blog.csdn.net/Bleachswh/article/details/53228614
IKAnalyzer 分词器所需要的停用词词典 ext_stopword.dic 下载
12-25
IKAnalyzer 分词器所需要的停用词词典 ext_stopword.dic 下载 Solr中使用IK-Analyzer实现中文分词器的配置详情 : http://blog.csdn.net/hello_world_qwp/article/details/78890904
文本分析--停用词集合（结合哈工大停用词表、四川大学机器智能实验室停用词库、百度停用词表等）
09-07
综合多种停用词表，进行合并去重处理，http://blog.csdn.net/kevinelstri/article/details/70227981
配置中文分析器
CherishL_的专栏
06-26 385
使用IKAnalyzer中文分析器。 分词器见我的资源 第一步：把IKAnalyzer2012FF_u1.jar添加到solr/WEB-INF/lib目录下。 第二步：复制IKAnalyzer的配置文件和自定义词典和停用词词典到solr的classpath下。 第三步：在schema.xml中添加一个自定义的fieldType，使用中文分析器<!-- IKAnalyzer--> <f
15、Analyzer分析器之中文分析器的扩展
u013115157的博客
12-19 1854
其实在第五章节里已经有介绍过下面的分析器了，只是没有做例子，今天将下面没有做过例子分析器进行一个例子说明paoding： 庖丁解牛最新版在 https://code.google.com/p/paoding/ 中最多支持Lucene 3.0，且最新提交的代码在 2008-06-03，在svn中最新也是2010年提交，已经过时，不予考虑。mmseg4j：最新版已从 https://code.goog...
elasticsearch IK分词器的安装、使用与扩展
修理男爵的博客
04-01 5215
ES 的默认分词器(standard)不支持中文分词，满足不了平时的需求，所以需要用能够支持中文分词的 IK 分词器。而且 IK 分词器也是支持英文分词的。 本文介绍下IK分词器的安装、基本使用方法；专有名词、同义词的使用；英文驼峰分词的实现。 下载与安装 中文IK分词器下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases 选择一个版本下载，然后解压。 在 elasticsearch 的 plugins 目录中新建文件夹
ElasticSearch之 ik分词器详解
最新发布
pgcdnameming的博客
11-22 2558
IK分词器 简介，基本使用，以及扩展词典禁用词典
IKAnalyzer介绍及使用
走在大数据的边缘
08-17 4559
**IKAnalyzer介绍 使用** 一、 IK介绍 为什么要分词呢，刚开始介绍的时候介绍过，我们要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。至于详细的介绍我们后期进行项目实战的时候会一一介绍，目前我们只需要学会用这个工具，为之后的项目实战打下基础。 IK Analyzer是什么呢，就是我们需要的这个工具，是基于java开发的轻量级的中文分词工具
淘淘商城第42讲——配置IK Analyzer中文分析器
李阿昀的博客
06-06 4848
在Solr中默认是没有中文分析器的，需要手工配置，配置一个FieldType，在FieldType中指定使用的中文分析器。另外，Solr中的字段(即业务域)必须先定义后使用。下面我们先把中文分析器配好，这儿使用的中文分析器是IK Analyzer。 我们首先应下载IK Analyzer中文分析器，下面是我所下载的IK Analyzer。 接着要将IK Analyzer 2012FF_hf1目
IKAnalyzer3.2.3中文分词器使用手册
"IKAnalyzer中文分词器V3.2.3使用手册.pdf" IKAnalyzer是一个专为处理中文分词问题而设计的开源Java工具包，自2006年12月发布1.0版本以来，经过多次迭代，发展成为独立于Lucene的通用分词组件，同时也为Lucene提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值