ELK的安装配置，详细

ES简介

ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。
特点是：高可用，高扩展，是一种NOSQL的数据存储工具

ES安装前的准备(elk安装包版本要求一致)

下载：elasticsearch-6.2.2.tar.gz
elasticsearch-head-master.zip
kibana-6.2.2-linux-x86_64.tar.gz
logstash-6.2.2.tar.gz
node-v8.9.1-linux-x64.tar.gz
jdk-8u221-linux-x64.tar.gz

ELK的安装

1．把下载好的安装包，拖拽到/software目录中
2．输入：yum install -y unzip 下载解压缩工具
3．输入：cd /software 进入安装包目录，输入ll可以查看目录中的文件
4．输入：tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt
// tar -zxf 同样可以解压，不显示过程
5．输入：tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz -C/opt
6．输入：tar -zxvf logstash-6.2.2.tar.gz -C /opt
7．输入：tar -zxvf node-v8.9.1-linux-x64.tar.gz -C/opt
8. 输入：tar -zxvf jdk-8u221-linux-x64.tar.gz -C/opt
9．输入：unzip elasticsearch-head-master.zip
把解压的文件夹移动并改名
10．输入 mv elasticsearch-head-master /opt/esth
11．输入：cd /opt
12．输入：mv kibana-6.2.2-linux-x86_64/ kb622
13．输入：mv logstash-6.2.2/ log622
14．输入：mv node-v8.9.1-linux-x64/ nod891
15、输入：mv jdk1.8.0_221/ java8

jdk的配置

1、输入： vi /etc/profile 配置环境变量

export JAVA_HOME=/opt/java8
export JRE_HOME=/opt/java8/jre
export CLASSPATH=.:$JAVA_HOME/bin/rt.jar:$JAVA_HOME/bin/tools.jar:$JAVA_HOME/bin/bt.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

2、输入:source /etc/profile 使刚刚的配置生效
3、输入：java -version和javac 检验刚刚配置是否成功，成功如下图，javac内容较多未截全。

ES的配置

1．输入：vi /etc/hostname 修改主机名
2．输入：vi /etc/hosts 修改主机列表
3．配置es的参数
（1）输入：vi /opt/es622/config/elasticsearch.yml，按shift+g，快速定位到尾行，按o在下一行插入以下内容：
冒号后空一格，切记！！！！！！！！！！！！！！

cluster.name: feel   --集群名
node.name: feel-master   --节点名
node.master: true     --是否为主节点
network.host: 192.168.62.21   --本机地址
discovery.zen.ping.unicast.hosts: ["192.168.62.21"]  
http.cors.enabled: true
http.cors.allow-origin: "*"

4．配置系统参数
（1）输入：vi /etc/sysctl.conf
插入内容 vm.max_map_count=655360
最好首次也要使用以下命令刷新 sysctl -w vm.max_map_count=655360
（2）输入：vi /etc/security/limits.conf（可能需要重启） 插入内容：
注：*符号后有空格，这里nproc填小了后面可能会报错

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

5． 添加普通用户 useradd es
6．修改es622目录的属组(es不能使用root启动) chown -R es:es es622
7．输入：su es 切换到普通用户
8．在/opt目录下输入：./es622/bin/elasticsearch
底部出现 started即是启动成功
9．在windows界面打开网页，输入http://192.168.62.21:9200/，可以正常出页面，切有节点的信息，即是启动成功

Head-master及node的配置

1．输入：vi /etc/profile 按shift+g定位到底部，然后按o在下一行插入以下内容：

export NODE_HOME=/opt/nod891
export PATH=$PATH:$NODE_HOME/bin 
 //如之前在java配置过PATH变量则在原先的尾部增加 
 //  :$NODE_HOME/bin

2．输入：source /etc/profile 激活配置文件，输入node -v 可以查看是否配置成功
3．输入：cd /opt/esth
4．输入：npm install -g grunt-cli --等待的时间比较长，要有点耐心
5．输入：npm install 出错时需要输入：
npm install phantomjs-prebuilt@2.1.14 --ignore-scripts
6．输入：vi Gruntfile.js，在标记位置下方增加一行代码：

hostname: '*', //冒号后有空格，最后还有个逗号

7．输入：vi _site/app.js，找到如下代码，并进行修改：
里面内容较多，在查看模式下输入 /需查找字符，可快速查询

this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://localhost:9200";

修改成为：
this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://192.168.56.110:9200";

8．输入：npm run start 启动head-master
9．在windows界面，打开网页，在打开前要保持es在运行中，输入：http://192.168.62.21:9100/（根据自己地址来输入），成功页面如图：

使用Head-master对ES进行测试

1．点击索引页签，点击新建索引
2．点击总览页签，即可查看索引的情况

kibana安装，配置和实例

1．输入：cd /opt/kb622
2．输入：vi config/kibana.yml 按shift+g跳转到行末，按o增加以下内容：

server.host: "192.168.62.21"
elasticsearch.url: "http://192.168.62.21:9200"

3．输入：./bin/kibana 运行kibana
4．在windows界面打开网页，输入http://192.168.62.21:5601/

logstash实例

1．输入：cd /opt/logstash622 进入logstash的安装目录
2．输入：./bin/logstash -e ‘input { stdin{} } output { stdout{} }’ 来测试logstash是否正常工作
3．输入：./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } }’ 把控制台输入的数据转换成json格式的数据，也可以替换成rubydebug类型的
4．./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } elasticsearch { hosts => [“192.168.56.110:9200”] } }’ 把控制台输入的数据转换成rubydebug类型的数据，同时上传到es服务器，可以在对应192.168.56.110:9100的页面进行查看
5．使用logstash读取文件
./bin/logstash -f demo.conf
./bin/logstash -f tmp/logstash.conf
demo.conf 的内容代码如下：

input{
        file{
                path => "/opt/logstash622/test/demo.txt"
                start_position => "beginning"
                sincedb_path => "/dev/null"
        }
}
output{
        stdout{
                codec => rubydebug
        }
        elasticsearch{
                hosts => ["192.168.56.110:9200"]
        }
}

ELK集群的搭建

一、复制虚拟机
二、修改主机名和主机列表
1．网络地址
（1）输入：vi /etc/sysconfig/network-script/ifcfg-enp0s3 修改网络ip地址
2．主机名
（1）hostnamectl set-hostname test01
（2）vi /etc/hostname 内容修改为test01
3．主机列表
（1）vi /etc/hosts 内容增加 主机的ip地址 主机名
三、配置免密登录
1．ssh-keygen -t rsa -P “” 生成私钥
2．cat .ssh/id_rsa.pub >> .ssh/authorized_keys 复制私钥到公钥
3．ssh-copy-id -i .ssh/id_rsa.pub -p22 root@test01 远程复制到另一台机器
4．ssh -p 22 root@test01 远程登录验证，不需要输入密码即可
四、配置elasticsearch集群
1．输入：vi /opt/es622/elasticsearch.yml 修改节点名，ip地址，主机列表
2．切换用户：su bigdata
3．删除data和log目录，运行