ElasticSearch下ik分词器的下载安装和自定义词库的创建

概述

一个tokenizer（分词器）接收一个字符流，将之分割为独立的tokens（词元，通常是独立的单词），然后输出tokens流。

ES提供了很多内置的分词器（标准分词器）。但是官方提供的分词器都是处理英文的，对于中文会按一个字符分割，这显然是不好用的，我们需要下载第三方的分词器，如IK分词器。

IK分词器下载

属于es的插件，所以需要安装到es容器中的的/usr/share/elasticsearch/plugins目录下，如果我们安装es时候做了文件挂载映射，n那么可以放在docker宿主机挂载es.plugins的目录下。

下载地址：IK分词器

下载解压放到es的plugins目录下即可使用，注意分词器和es版本需要一致

自定义分词

比如我们要把勇敢牛牛算作一个词，用ik内置的词典的也不能解决，我们需要自己定义自己风格的词典，将我们想要作为一个词的内容放在词典中被es识别

1、配置远程拓展地址
修改/usr/share/elasticsearch/plugins/ik/config中的IKAnalyzer.cfg.xml

<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict"></entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<entry key="remote_ext_dict">http://192.168.1.22/es/fenci.txt</entry> 
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

2、由于新增词典后，只会对后来的数据进行分词，之前历史数据不会分词。如果想要历史数据重新分词，需要执行

POST [索引]/_update_by_query?conflicts=proceed

3、既然是远程拓展词典，那么我们就需要自定义一个服务器，将词典放在服务器中。这里我们选择nginx为例

运行nginx，将它的配置文件拷到宿主机下。 .代表当前目录。然后工具人nginx就没用了，可以停掉删除

docker container cp nginx:/etc/nginx .

4、我们可以在宿主机上创建一个nignx文件。修改之前拷贝的文件夹为conf，拷贝出的配置文件作为我们要运行的nignx的配置文件

5、运行nginx

docker run -p 80:80 --name nginx --privileged=true \
 -v /mydata/nginx/html:/usr/share/nginx/html \
 -v /mydata/nginx/conf:/etc/nginx \
 -v /mydata/nginx/logs:/var/log/nginx \
 -d nginx:1.10

6、在nginx的html文件夹下面创建es文件夹，用来放我们定义的分词器，比如fenci.txt。地址和es中配置的远程扩展字段一致。我们的远程字典就创建成功了

总结：

• 创建字典
• 放到web服务器中
• ik分词器配置远程词库，指向存放了字典的web服务器地址
• 重启es