ELK日志分析系统搭建 v6.0.0

2019独角兽企业重金招聘Python工程师标准>>>

• 一、服务器信息

【注意：必须2核以上】

• 二、基础支持yum安装

【注意：否则后面操作会异常】

yum -y install java-1.8.0

yum install unzip
#http://ftp.gnu.org/gnu/gcc/gcc-7.2.0/
yum install gcc
#https://pkgs.org/download/tcl
yum install tcl -y

• 三、屏蔽或者禁用firewalld

【注意：否则本地浏览器无法访问虚拟机】

systemctl stop firewalld  #禁用服务
systemctl mask firewalld #屏蔽服务

• 四、核心软件包下载

上图包可前往：https://gitee.com/openplus/elkbulid 获取

也可前往官网下载：

elasticsearch、logstash、kibana下载最新版本：https://www.elastic.co/downloads

elasticsearch-kopf下载最新版本：https://github.com/lmenezes/elasticsearch-kopf 

【es5以上kopf已经被cerebo替代】

cerebo下载：https://github.com/lmenezes/cerebro/releases

redis下载最新版本：http://download.redis.io/releases/

下载完如上5个包，上传到虚拟机的/ELK 目录下

• 五、安装核心软件

安装logstash：

[root@ELK20171129 ELK]# tar zxf logstash-6.0.0.tar.gz -C /usr/local/

配置logstash的环境变量

[root@ELK20171129 ELK]# echo "export PATH=\$PATH:/usr/local/logstash-6.0.0/bin" > /etc/profile.d/logstash.sh
[root@ELK20171129 ELK]#  . /etc/profile

安装Redis：

[root@ELK20171129 ELK]# tar zxf redis-4.0.2.tar.gz
[root@ELK20171129 ELK]# cd redis-4.0.2
[root@ELK20171129 redis-4.0.2]# make MALLOC=libc
[root@ELK20171129 redis-4.0.2]# make test  【注意：可以去喝杯茶】
[root@ELK20171129 redis-4.0.2]# make install

启动redis：

[root@ELK20171129 redis-4.0.2]# cd utils/
[root@ELK20171129 utils]# /install_server.sh 【注意：一路默认回车】
[root@ELK20171129 utils]# netstat -tnlp |grep redis【注意：查看进程】

启动redis动态监控

[root@ELK20171129 utils]# cd ../src/
[root@ELK20171129 src]# ./redis-cli monitor

logstash和redis的结合【配置够的可以做，不够试下，这步就跳过吧】

[root@ELK20171129 ELK]#  vi logstash-to-redis.conf
input { stdin { } }
output {
    stdout { codec => rubydebug }
    redis {
        host => '192.168.13.245'
        data_type => 'list'
        key => 'logstash:redis'
    }
}

#执行
logstash -f logstash-to-redis.conf --verbose
#输入测试信息
./redis-cli monitor
#能查看到输入的测试信息结果则logstash和redis的结合

安装Elasticsearch：

[root@ELK20171129 ELK]# tar zxf elasticsearch-6.0.0.tar.gz -C /usr/local/

修改elasticsearch配置文件

[root@ELK20171129 ELK]# vi /usr/local/elasticsearch-6.0.0/config/elasticsearch.yml  
network.host: 192.168.1.104    #指定主机地址
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.158.13.245"]

启动elasticsearch服务

【es5以上不能用root用户运行，此处忽略若干建立用户授权的过程，其他软件用root操作执行】

切换到october用户

[october@ELK20171129 ~]# nohup /usr/local/elasticsearch-6.0.0/bin/elasticsearch > /ELK/logs/es.log 2>&1 &
[root@ELK20171129 ~]# netstat -tnlp |grep java【查看端口，不正常则进一步看logstash.log日志】

出现ERROR: bootstrap checks failed 异常前往https://my.oschina.net/openplus/blog/1582122 处理，处理完毕回来继续。

配置elasticsearch和logstash结合

[root@ELK20171129 ELK]# vi logstash-simple.conf
[root@ELK20171129 ELK]# cat logstash-simple.conf
input { stdin { } }
output {
  elasticsearch { hosts => ["192.168.13.245:9200"] }
  stdout { codec => rubydebug }
}

启动logstash

[root@ELK20171129 ELK]# /usr/local/logstash-6.0.0/bin/logstash -f /ELK/logstash-simple.conf 
#执行成功后，输入些数据，检查logstash与elasticsearch之间的通讯是否有问题
#当前窗口输入完测试数据，会直接返回json格式数据
#然后再另起窗口执行 curl  http://192.168.13.245:9200/_search?pretty 显示则正常。

安装elasticsearch插件cerebro

[root@ELK20171129 ELK]# unzip  cerebro-0.7.2.zip
[root@ELK20171129 ELK]# cd cerebro-0.7.2
[root@ELK20171129 ELK]# nohup bin/cerebro > /ELK/logs/cerebro.log  2>&1 &

访问：http://192.168.13.245:9000

安装kibana

[root@ELK20171129 ELK]# tar zxf kibana-6.0.0-linux-x86_64.tar.gz -C /usr/local
修改kibana配置文件kinaba.yml
[root@ELK20171129 ELK]# vi  /usr/local/kibana-6.0.0-linux-x86_64/config/kibana.yml
elasticsearch_url: "http://192.168.13.245:9200"
server.host: "192.168.13.245"
server.port: 5601

启动kibana

[root@ELK20171129 ELK]# nohup /usr/local/kibana-6.0.0-linux-x86_64/bin/kibana > /ELK/logs/kibana.log 2>&1 &

访问：http://192.168.13.245:5601

结束...

关机后重启步骤请移步 ELK v6.0.0启动

 

 

 

 

 

 

转载于:https://my.oschina.net/openplus/blog/1582129