CentOS7下安装Elasticsearch、Kibana、Logstash、Elasticsearch-analysis-ik中文分词器

简介：

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

环境：

java version "1.8.0_144"

elasticsearch5.5.2

kibana5.5.2

logstash5.5.2

elasticsearch-analysis-ik-5.5.2

下载地址：

https://www.elastic.co/cn/downloads/elasticsearch

一、elasticsearch5.5.2安装

1.下载后解压缩

[root@localhost ES]# tar -zxvf elasticsearch-5.5.2.tar.gz 
2.进入elasticsearch-5.5.2启动：

./bin/elasticsearch
3.root用户无法正确启动，创建普通用户：

groupadd esgroup

4.设置密码

useradd esuser -g esgroup -p 你的密码

5.更改elasticsearch文件夹及内部文件的所属用户及组：

chown -R esuser:esgroup elasticsearch-5.5.2

6.切换用户：

su esuser

7.运行

./bin/elasticsearch

8.后台运行：./bin/elasticsearch -d

测试连接：curl 127.0.0.1:9200

会看到一下JSON数据：
 [root@localhost ~]# curl 127.0.0.1:9200
  {
  "name" : "rBrMTNx",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "-noR5DxFRsyvAFvAzxl07g",
  "version" : {
    "number" : "5.1.1",
    "build_hash" : "5395e21",
    "build_date" : "2016-12-06T12:36:15.409Z",
    "build_snapshot" : false,
    "lucene_version" : "6.3.0"
  },
  "tagline" : "You Know, for Search"
 }

9.实现远程访问：
需要对config/elasticsearch.yml进行   配置：
    network.host: 192.168.25.136

10.处理错误

a.处理第一个错误：

vim /etc/security/limits.conf       //文件最后加入

esuser soft nofile 65536

esuser hard nofile 65536

esuser soft nproc 4096

esuser hard nproc 4096

b.处理第二个错误：

进入limits.d目录下修改配置文件。

vim /etc/security/limits.d/20-nproc.conf 
修改为 esuser soft nproc 4096

c.处理第三个错误：
    
vim /etc/sysctl.conf

vm.max_map_count=655360

11.执行以下命令生效：
sysctl -p

12.关闭防火墙：systemctl stop firewalld.service

13.再次启动成功！

二、安装Kibana
Kibana是一个针对Elasticsearch的开源分析及可视化平台，使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作，使用Kibana能执行高级的数据分析，并能以图表、表格和地图的形式查看数据

1.下载Kibana
https://www.elastic.co/downloads/kibana

2.把下载好的压缩包拷贝到/soft目录下

3.解压缩，并把解压后的目录移动到/user/local/kibana

4.编辑kibana配置文件

[root@localhost /]# vi /usr/local/kibana/config/kibana.yml

将server.host,elasticsearch.url修改成所在服务器的ip地址

5.开启5601端口

Kibana的默认端口是5601

6.开启防火墙:

systemctl start firewalld.service

7.开启5601端口:

firewall-cmd --permanent --zone=public --add-port=5601/tcp

8.重启防火墙：

firewall-cmd –reload

9.启动Kibana

[root@localhost /]# /usr/local/kibana/bin/kibana

10.浏览器访问：

http://192.168.25.136:5601

三、安装elasticsearch-analysis-ik中文分词器

1.下载中文分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases

2.切换到elasticsearch-5.5.2/plugins目录中创建ik文件夹

mkdir ik

3.把 下载的elasticsearch-analysis-ik-5.5.2.zip放入ik文件夹下解压缩

unzip elasticsearch-analysis-ik-5.5.2.zip

4.解压后的内容移动到ik目录下

5.再次启动elasticsearch就可以了

四、安装logstash5.5.2

1.解压缩：

tar -zxvf  logstash-5.5.2.tar.gz

2.切换到目录

/logstash-5.5.2/config

3.创建配置文件

并添加内容

vim config/nginx-gitlab.conf

内容如下：

input {
    file {
        path => "/var/opt/gitlab/nginx/logs/*.log"
        start_position => beginning
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
    }
    date {
        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
    hosts => "192.168.235.32:9200"
    }
    stdout { codec => rubydebug }
}

4.启动logstash

./bin/logstash -f config/nginx-gitlab.conf