快来看看！ ELK日志分析系统！

ELK介绍

Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，
能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Logstash

由JRuby语言编写，基于消息（message-based）的简单架构，并运行在Java虚拟机（JVM）上。不同于分离的代理端（agent）
或主机端（server），LogStash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。

Kibana

是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面
可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以
完成Kibana安装并启动Elasticsearch索引监测。

实操

部署ES环境

jdk环境
node1

[root@node1 opt]# vim /etc/hosts
192.168.118.11 node1
192.168.118.22 node2
[root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@node1 opt]# vim /etc/profile			#修改配置文件
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 ~]# source /etc/profile

node2
[root@node2 opt]# vim /etc/hosts
192.168.118.11 node1
192.168.118.22 node2
[root@node2 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@node2 opt]# vim /etc/profile			#修改配置文件
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node2 jdk]# source /etc/profile

[root@node1 elasticsearch]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml		#查看配置结果是否成功
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
[root@node1 elasticsearch]# mkdir -p /data/elk_data			#创建数据存放目录
[root@node1 elasticsearch]# chown elasticsearch:elasticsearch /data/elk_data/	#给予属主、组
[root@node1 elasticsearch]# ll -d /data/elk_data/
drwxr-xr-x. 2 elasticsearch elasticsearch 6 8月  14 10:55 /data/elk_data/
[root@node1 elasticsearch]# systemctl start elasticsearch.service 
[root@node1 elasticsearch]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      81615/java 

查看

创建索引

[root@node1 elasticsearch-head]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

查看

安装logstash

部署Java环境

[root@appche opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@appche opt]# cd /usr/local
[root@appche local]# ls
bin  etc  games  include  jdk1.8.0_91  lib  lib64  libexec  sbin  share  src
[root@appche local]# mv jdk1.8.0_91/ jdk
[root@appche opt]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@appche opt]# cd /opt
[root@appche opt]# rpm -ivh logstash-5.5.1.rpm 
[root@appche opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
[root@appche opt]# cd /usr/local
[root@appche local]# ls
bin  etc  games  include  jdk1.8.0_91  lib  lib64  libexec  sbin  share  src
[root@appche local]# mv jdk1.8.0_91/ jdk
[root@appche opt]# systemctl start logstash.service 
[root@appche opt]# systemctl enable logstash.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.

输入标准输出

[root@appche ~]# logstash -e 'input { stdin{} } output { stdout{} }'
…………………………
www.baidu.com 									
2021-08-14T12:21:46.662Z appche www.baidu.com

使用rubydebug显示详细输出

[root@appche ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'
…………………………
www.baidu.com									#输入百度网站查看
{
    "@timestamp" => 2021-08-14T12:24:31.885Z,
      "@version" => "1",
          "host" => "appche",
       "message" => "www.baidu.com"
}

查看网页

安装kibana

查看网页


用索引查看