ElasticSearch分词器-ElasticSearch环境搭建及hanlp插件安装

一．运行环境

1.操作系统Centos64
2.ElasticSearch版本5.6.3
3.Kibana版本5.6.3

二．ES安装

1.下载tar包
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz

2.解压tar包
tar -zxvf elasticsearch-5.6.3.tar.gz -C /home/elasticsearch-5.6.3
3.修改elasticsearch.yml配置文件
vi /home/elasticsearch-5.6.3/config/elasticsearch.yml

cluster.name: nlp
node.name: search
network.host: 0.0.0.0
http.port: 9200

4.elasticsearch不能以root用户启动，需要新建用户组和用户

groupadd nlp
useradd nlp -g nlp
chown -R nlp:nlp /home/elasticsearch-5.6.3

5.启动es
su nlp
./bin/elasticsearch -d
6.访问127.0.0.1:9200，看到如下返回表示启动正常

{
  "name" : "search",
  "cluster_name" : "nlp",
  "cluster_uuid" : "aF1AO6NfRBeCF1k9Xlb8hA",
  "version" : {
    "number" : "5.6.3",
    "build_hash" : "1a2f265",
    "build_date" : "2017-10-06T20:33:39.012Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
}

三．kibana安装

1.返回到root用户
2.下载kibana安装包，由于官网下载速度较慢，采用华为镜像安装。注意kibana安装包版本号要与elasticsearch版本号一致。
https://mirrors.huaweicloud.com/kibana/
kibana-5.6.3-linux-x86_64.tar.gz
3.解压压缩包到/home/kibana-5.6.3目录
tar -zxvf kibana-5.6.3-linux-x86_64.tar.gz -C /home/kibana-5.6.3
4.修改配置文件
vi /home/kibana-5.6.3/config/kibana.yml

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: http://127.0.0.1:9200

5.将kibana目录分配给nlp用户
chown -R nlp:nlp /home/kibana-5.6.3
6.转到nlp用户启动kibana
su nlp
nohup ./kibana &
7.访问http://127.0.0.1:5601/app/kibana，展示如下界面表示安装成功

四．hanlp插件安装

1.下载hanlp插件
链接: https://pan.baidu.com/s/1pMdfzkB 密码: cdc4
2.将hanlp插件解压到/home/elasticsearch-5.6.3/plugins目录下
unzip elasticsearch-hanlp-5.6.3.zip -d /home/elasticsearch-5.6.3/plugins
3.将hanlp目录分配给nlp用户
chown -R nlp:nlp /home/elasticsearch-5.6.3/plugins/hanlp
4.删除hanlp目录下log4j-api-2.9.1.jar，防止jar包冲突
 

5.下载hanlp数据包
链接: https://pan.baidu.com/s/1smsAxch 密码: w4i7
解压之后，修改/elasticsearch-5.6.3/plugins/hanlp目录下的hanlp.properties文件，修改根路径root=/home/hanlp/为数据包所在目录

6.修改plugin-security.policy文件，在末尾添加

-Djava.security.policy=/home/elasticsearch/plugins/hanlp/plugin-security.policy

7.修改/home/elasticsearch-5.6.3/bin/elasticsearch.in.sh，修改ES_CLASSPATH

ES_CLASSPATH="$ES_HOME/lib/*:$ES_HOME/plugins/hanlp/"

8.分词效果验证
进入Dev Tools，输入以下文本：

GET /_analyze?analyzer=hanlp&pretty=true
{
    "text":"记者从四川省农业农村厅了解到"
}

输出：

{
  "tokens": [
    {
      "token": "记者",
      "start_offset": 0,
      "end_offset": 2,
      "type": "nnt",
      "position": 0
    },
    {
      "token": "四川省",
      "start_offset": 3,
      "end_offset": 6,
      "type": "ns",
      "position": 1
    },
    {
      "token": "农业",
      "start_offset": 6,
      "end_offset": 8,
      "type": "n",
      "position": 2
    },
    {
      "token": "农村",
      "start_offset": 8,
      "end_offset": 10,
      "type": "n",
      "position": 3
    },
    {
      "token": "厅",
      "start_offset": 10,
      "end_offset": 11,
      "type": "n",
      "position": 4
    },
    {
      "token": "了解到",
      "start_offset": 11,
      "end_offset": 14,
      "type": "v",
      "position": 5
    }
  ]
}

 

以上就是es和hanlp插件的安装使用，后面还会介绍如何建立分词索引和从mysql向es导入文本。

五．参考文档

https://www.jianshu.com/p/52c42cdab997

https://blog.csdn.net/cb2474600377/article/details/78963247