Elasticsearch.5.4.1+kibana5.4.1+IK分词集群搭建

报错问题解决

es安装过程中可能会遇到以下错误，对应解决方案

错误1：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
修改：
/etc/security/limits.conf
*        hard    nofile           65536
*        soft    nofile           65536


错误2：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
/etc/sysctl.conf 增加如下信息
vm.max_map_count=262144


 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14

一、基础信息

硬件环境

三台centos7虚拟机
 
 
1

软件版本 
- elasticsearch-5.4.1.tar.gz 
- kibana-5.4.1-linux-x86_64.tar.gz 
- jdk-8u144-linux-x64.tar.gz 
- elasticsearch-analysis-ik-5.4.1.zip

网络分配

系统	主机名	ip
centos7桌面版	master	192.168.80.130
centos7 minimal	slave1	192.168.80.131
centos7 minimal	slave2	192.168.80.132

二、搭建步骤

1.基础环境设置

防火墙

关闭主机防火墙，这一步很重要
systemctl stop firewalld.service     //临时关闭
systemctl disable firewalld.service  //永久关闭，重启生效
firewall-cmd --stat                  //查看状态
 
 
1
2
3
4

安装jdk

三台虚拟机都需要进行

1.解压安装包
tar zxvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144 /path                //注意path改为自己的安装路径

2.修改环境变量
sudo vim /etc/profile
末尾添加如下内容
export JAVA_HOME=your_java_home     //your_java_home对应自己的安装路径
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/tool.jar:$JAVA_HOME/lib/dt.jar


3.使环境变量生效
source /etc/profile

4.验证是否生效
java -version

 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

2.es安装

1.解压

tar zxvf elasticsearch-5.4.1.tar.gz  //解压到自己的安装路径下

2.配置es
vim elasticsearch-5.4.1/config/elasticsearch.yml
添加如下信息：
cluster.name: cluster_name   //自己的集群名称
node.name: master            //节点名称
network.host: master         //节点ip，可以直接输入ip
http.port: 9200           
node.master: true            //是否作为master，默认为true
node.data: false             //是否作为data，默认为true
discovery.zen.ping.unicast.hosts: ["slave1", "slave2","master"]
discovery.zen.minimum_master_nodes: 1   //最少master数
#discovery.zen.ping_timeout: 120s//ping的超时时间，用于发现节点，生产中时间过短可能会有问题，默认是3秒


3.分发
es配置完成之后将安装包分发到不同的节点上
scp elasticsearch-5.4.1 root@slave1:/opt
scp elasticsearch-5.4.1 root@slave2:/opt


4. 更改另外两个节点配置
同样更改elasticsearch.yml配置文件添加如下信息
cluster.name: cluster_name   //自己的集群名称
node.name: slave1            //节点名称
network.host: slave1         //节点ip，可以直接输入ip
http.port: 9200           
node.master: false            //是否作为master，默认为true
node.data: true             //是否作为data，默认为true
discovery.zen.ping.unicast.hosts: ["slave1", "slave2","master"]
discovery.zen.minimum_master_nodes: 1   //最少master数
#discovery.zen.ping_timeout: 120s//ping的超时时间，用于发现节点，生产中时间过短可能会有问题，默认是3秒

 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

3.安装kibana

一台安装就行了

1.解压
tar zxvf kibana-5.4.1-linux-x86_64.tar.gz
//很简单，不用配置，使用默认一般就行了
 
 
1
2
3

4. 安装中文ik分词

三台节点都需安装

可以自己下载源码使用maven编译，当然如果怕麻烦可以直接下载编译好的

https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.4.1
注意下载对应的版本
unzip elasticsearch-analysis-ik-5.4.1.zip
在es的plugins下新建ik目录
mkdir ik
将刚才解压的复制到ik目录下
cp -r elasticsearch-analysis-ik-5.4.1/* ik

 
 
1
2
3
4
5
6
7
8
9
10

5.安装完成启动

1.开启 es
sh bin/elaticsearch
2.开启kibana
sh bin/kibana   //浏览器打开http://localhost:5601

//注意以上命令都是在对应的软件目录下执行的

2.验证中文分词
终端中输入命令
curl -XGET 'http://10.202.105.41:9200/_analyze?pretty&analyzer=ik_max_word' -d '联想是全球最大的笔记本厂商'

输出结果：
{
  "tokens" : [
    {
      "token" : "联想",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "全球",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "最大",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "笔记本",
      "start_offset" : 8,
      "end_offset" : 11,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "笔记",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "笔",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "记",
      "start_offset" : 9,
      "end_offset" : 10,
      "type" : "CN_CHAR",
      "position" : 6
    },
    {
      "token" : "本厂",
      "start_offset" : 10,
      "end_offset" : 12,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "厂商",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 8
    }
  ]
}


安装成功！！！！