elk在Linux中搭建--自用无坑版

elk在Linux中搭建

搭建之前需要先查看服务器中是否安装了jdk
java -version 查看jdk是否安装

java -verbose 查看jdk安装目录

未安装：
1.查看可安装java版本

yum -y list java*

2.安装

yum install -y java-1.8.0-openjdk-devel.x86_64

~~ 下面正式开始搭建旅程 ~~

一.下载elasticsearch（两种下载方式，推荐采用rpm下载）

(一）使用tar包下载

1.直接进入elasticsearch的官网https://www.elastic.co/downloads/elasticsearch，下载最新的安装包：

wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/elasticsearch-6.3.1.tar.gz

2.安装位置：

cd /usr/es

3.解压

tar -zxvf elasticsearch-6.3.1.tar.gz

4.创建用户（使用非root启动）
（1）创建elsearch用户组及elsearch用户

groupadd elastic
useradd elastic -g elastic -p elasticsearch
chown -R elsearch:elsearch  elasticsearch

（2）切换到elsearch用户再启动

su elsearch #切换账户
cd elasticsearch/bin #进入你的elasticsearch目录下的bin目录
./elasticsearch

5.查看后台命令是否启动成功

ps aux|grep elasticsearch

（二）rpm下载

1、Elasticsearch下载
在官网https://www.elastic.co/downloads/elasticsearch下载elasticsearch的rpm包或者直接在终端wget下载：

[root@localhost es]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.rpm

2、安装rpm包

[root@localhost es]# rpm -ivh https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.rpm

3、开启Elasticsearch服务

[root@localhost es]#  service elasticsearch start
或者
[root@localhost es]#  systemctl start elasticsearch 

4、测试Elasticsearch是否安装成功

[root@localhost es]#  curl -XGET 'http://localhost:9200'

如果出现以下内容说明安装成功了

5.设置Elasticsearch随机自启

systemctl status elasticsearch
service elasticsearch start
service elasticsearch status
systemctl status elasticsearch
systemctl enable elasticsearch

6.开启nginx端口

（1） firewall-cmd --state 检查防火墙状态
（2）firewall-cmd --list-ports 查看已经开放的端口
（3）sudo firewall-cmd --zone=public --add-port=9200/tcp  开放9200端口
（4）systemctl restart firewalld 重启防火墙

此时如不需要开启防火墙可关闭

（三）配置es

官方的配置文档：
https://www.elastic.co/guide/en/elasticsearch/reference/6.0/rpm.html
1.elasticsearch配置文件在这两个地方，有两个配置文件：

elasticsearch.yml 文件用于配置集群节点等相关信息的

elasticsearch 文件则是配置服务本身相关的配置，例如某个配置文件的路径以及java的一些路径配置什么的。

2.开始配置集群节点，在服务器上编辑配置文件：

[root@localhost ~]# vim /etc/elasticsearch/elasticsearch.yml  # 增加或更改以下内容
http.cors.enabled: true    # 配置head
http.cors.allow-origin: "*"  # 配置head
#http.port: 9200  # es服务的端口号，默认可不配置
#
cluster.name: es_test   # 集群中的名称
#
node.name: node-1    # 该节点名称
#
node.master: true   # 意思是该节点为主节点
#
node.data: true    # 表示该节点是数据节点
#
network.host: ip  # 监听全部ip，在实际环境中应设置为一个安全的ip
#
network.publish_host: ip 
#
network.bind_host: ip 
#
#discovery.zen.ping.multicast.enabled: false 
#
discovery.zen.ping.unicast.hosts: ["主节点ip", "子节点ip"] # 配置自动发现所有节点
#
transport.tcp.port: 9300  # tcp外部访问
#
#index.analysis.analyer.default.tokenizer : "ik_max_word"  # ik分词器
#
#index.analysis.analyer.default.type : "ik"  #  ik分词器

注意：以上配置每行结束都要添加空格，行与行之间空一行
3.完成以上的配置之后，到主节点上，启动es服务：

systemctl start elasticsearch.service

二、安装Head 插件

Elasticsearch Head Plugin: 对ES进行各种操作，如查询、删除、浏览索引等。
1、下载elasticsearch-head并解压
在线下载：

wget  https://github.com/mobz/elasticsearch-head/archive/master.zip

或者到github下载：(采用这一种）
https://github.com/mobz/elasticsearch-head

unzip  elasticsearch-head-master.zip //解压zip文件
mv  elasticsearch-head-master.zip  /home/ntc/code/elasticsearch-head //解压到自定义目录并修改文件夹名为elasticsearch-head

2、安装node
由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包。（npm可以理解为maven）

wget  https://nodejs.org/dist/v8.11.3/node-v8.11.3-linux-x64.tar.xz
tar -xvf  node-v8.11.3-linux-x64.tar.xz

3.解压完node的安装文件后，需要配置下环境变量,编辑/etc/profile，添加

#配置jdk 如果配置过可以省略
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64
JRE_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/bin:$PATH
#配置nodejs
export NODEJS_HOME=/usr/share/es/node-v8.11.3-linux-x64
export PATH=$PATH:$NODEJS_HOME/bin

4.保存后别忘记立即执行以下

source /etc/profile

5.这个时候可以测试一下node是否生效：

5、安装grunt
grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，head插件就是通过grunt启动的。
（1）安装一下grunt：

cd  /usr/share/es/elasticsearch-head-master

（2）安装nodejs

npm install -g grunt-cli  //执行后会生成node_modules文件夹
npm install

注：5.0以上，elasticsearch-head 不能放在elasticsearch的 plugins、modules 目录下，否则elasticsearch启动会报错
6、修改head源码

vi /usr/share/es/elasticsearch-head-master/Gruntfile.js
connect: {
    server: {
        options: {
            port: 9100,
            hostname: '*',
            base: '.',
            keepalive: true
        }
    }
}

增加hostname属性，设置为*
7.修改连接地址：
(1)目录：

vi /es/install/es/elasticsearch-head-master/_site/app.js

(2)修改head的连接地址:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";
把localhost修改成你es的服务器地址，如:
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://ip:9200";

8、运行head 启动nodejs
(1)cd /es/install/es/elasticsearch-head-master //先跳转到head目录下
(2)grunt server //若想在后台运行，结尾追加“&”
或者使用 nohup grunt server & 启动（日志打印在nohup.out中）
9.发现head没有连接到elasticsearch

关闭elasticsearch，到config文件夹下
打开/etc/elasticsearch/elasticsearch.yml文件，在文件的末尾添加

http.cors.enabled: true
http.cors.allow-origin: "*"

10.重启elasticsearch和head
11.再次访问

http://ip:9100

三：安装kibana

1.在主节点上安装：

[root@localhost ~]# yum -y install kibana 

若yum安装的速度太慢，可以直接下载rpm包来进行安装：

[root@localhost ~]# cd /es/install/kibana
[root@localhost es]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.1-x86_64.rpm
[root@localhost es]# rpm -ivh kibana-6.3.1-x86_64.rpm

2.安装完成后，对kibana进行配置：

[root@localhost ~]# vim /etc/kibana/kibana.yml  # 增加以下内容
server.port: 5601  # 配置kibana的端口
server.host: ip  # 配置监听ip
elasticsearch.url: "http://ip:9200"  # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip
logging.dest: /var/log/kibana.log  # 配置kibana的日志文件路径，不然默认是messages里记录日志

3.创建日志文件：

[root@localhost ~]# touch /var/log/kibana.log 
[root@localhost ~]# chmod 777 /var/log/kibana.log

4.启动kibana服务，并检查进程和监听端口：

[root@localhost ~]# systemctl start kibana
[root@localhost ~]# ps aux |grep kibana

[root@localhost ~]# netstat -lntp |grep 5601
注：由于kibana是使用node.js开发的，所以进程名称为node
5.访问
然后在浏览器里进行访问，如：http://ip:5601/，由于并没有安装x-pack，所以此时是没有用户名和密码的，可以直接访问的
到此kibana就安装完成了，很简单，接下来就是安装logstash，不然kibana是没法用的。

四.安装logstash(两种方式安装）

(一）tar安装

logstash的安装和elasticsearch的安装是一样简单的，就是那种拆箱即用的。注意版本需要和elasticsearch的版本一致。
1.下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.1.tar.gz

2.下载完之后解压

tar -xvf logstash-6.3.1.tar.gz 

3.启动服务测试一下是否安装成功：

cd /usr/share/es/logstash-6.3.1/bin
./logstash -e 'input { stdin { } } output { stdout {} }'

如果出现下面的东西就表示成功：

输入随便什么内容：
HelloWorld
展示出如下内容则表示成功

（二）npm下载

1、logstash下载
在官网https://www.elastic.co/downloads/kibana下载logstash的rpm包或者直接在终端wget下载：

[root@localhost es]#wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.1.rpm

2、安装rpm包

[root@localhost es]# rpm -ivh logstash-6.3.1.rpm

3.启动服务测试一下是否安装成功：

cd /usr/share/logstash/bin
./logstash -e 'input { stdin { } } output { stdout {} }'

如果出现下面的东西就表示成功：

输入随便什么内容：
HelloWorld
展示出如下内容则表示成功

4.同步MySQL数据
（1）创建文件夹与文件

cd /usr/share/es/logstash/bin
mkdir config-mysql
cd config-mysql
touch mysql.conf

(2)配置mysql.conf --同步多表就是在input和output 中添加type,但注意type对应要一致

input {
  jdbc {
    type => "test1表名"
    jdbc_driver_library => "/usr/es/elasticsearch-jdbc-2.3.4.0/lib/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://ip:3306/数据库?useUnicode=true&characterEncoding=utf8&useSSL=false"
    jdbc_user => "root"
    jdbc_password => "password"
    jdbc_page_size => 100
    jdbc_paging_enabled => true
    jdbc_default_timezone => "Asia/Shanghai"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * 1 * *"
    tracking_column => "id"
    tracking_column_type => "numeric"
    use_column_value => true
    statement => "SELECT * from test1表名"
  }
  jdbc {
    type => "test2表名"
    jdbc_driver_library => "/usr/es/elasticsearch-jdbc-2.3.4.0/lib/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://ip:3306/数据库名?useUnicode=true&characterEncoding=utf8&useSSL=false"
    jdbc_user => "root"
    jdbc_password => "password"
    jdbc_page_size => 100
    jdbc_paging_enabled => true
    jdbc_default_timezone => "Asia/Shanghai"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * * * *"
    tracking_column => "id"
    tracking_column_type => "numeric"
    use_column_value => true
    statement => "select * from test2表名"
  }
}
filter {
  date {
    timezone => "Asia/Shanghai"
    match => [ "created_at", "yyyy-MM-dd HH:mm:ss" ]
  }
}
output {
  stdout { codec => rubydebug }
  if [type]=="test1表名"{
	  elasticsearch {
	    hosts => ["ip:9200"]
	    index => "test1表名"
	    document_id => "%{id}"
	  }
  }
  if [type]=="test2表名"{
	  elasticsearch {
	    hosts => ["ip:9200"]
	    index => "test2表名"
	    document_id => "%{id}"
	  }
  }
}

5.启动logstash进行同步表数据

./logstash -f /usr/share/es/mysql-config/wx_push_total.conf

6.如果想指定日志输出目录使用

./logstash  --path.settings /etc/logstash/ --path.data /usr/share/log/actv_activity_info.log  -f /usr/share/es/mysql-config/wx_push_total.conf

如果想释放控制台，就在命令之后加一个 & 符号，就可以后台运行了
nohup ./logstash  --path.settings /etc/logstash/ -f /usr/share/es/mysql-config/wx_push_total.conf &

nohup的意思是：当终端断开(hang up)后，服务仍然在后台执行，需要注意的是，我们需要在nohup命令执行后，按任意键回到shell提示符后，再退出终端。
7.查看日志

 tail -f /var/log/logstash/logstash-plain.log -n100

使用nohup命令后台启动查看日志

（1）找到nohup.out文件

2）查看日志

tail -f -n100 /usr/share/logstash/bin/nohup.out

~~ 以下仅供参考
五.安装ik中文分词器
https://github.com/medcl/elasticsearch-analysis-ik/releases

六.获取当前版本

rpm -qa|grep elasticsearch 
rpm -qa|grep kibana
rpm -qa|grep logstash

七.删除版本

rpm -e kibana-6.4.2-1.x86_64