ELK日志分析系统服务

最新推荐文章于 2024-07-25 17:49:34 发布

灬小特曼

最新推荐文章于 2024-07-25 17:49:34 发布

阅读量289

点赞数

分类专栏：云计算基础文章标签： linux

本文链接：https://blog.csdn.net/weixin_48191719/article/details/109400712

版权

云计算基础专栏收录该内容

49 篇文章 1 订阅

订阅专栏

概述

ELK日志分析系统

Elasticsearch + Logstash + Kibana
Elasticsearch 提供一个分布式存储日志、多用户能力的全文搜索引擎
Logstash 强大的数据处理工具，收集日志文件，转换日志格式后递交给Elasticsearch存储
Kibana 搜索、查看存储在Elasticsearch索引中的数据，对数据进行分析

Elasticsearch的概述

提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。

Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎.设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Logstash概述

一款强大的数据处理工具，可实现数据传输、格式处理、格式化输出
数据输入、数据加工(如过滤，改写等)以及数据输出

Kibana概述

一个针对Elasticsearch的开源分析及可视化平台，搜索、查看存储在Elasticsearch索弓|中的数据，通过各种图表进行高级数据分析及展示

配置ELK日志分析系统

4台主机，2个elasticsearch节点，并监控apache服务器日志，所有主机的防火墙和核心防护都关闭

node1：    20.0.0.10
node2：    20.0.0.20
apache：   20.0.0.30
localhost：20.0.0.40

安装elasticsearch

查看Java环境，如果没有需要自己搞jdk
java -version
把elasticsearch压缩包放到/opt目录并解压
rpm -ivh elasticsearch-5.5.0.rpm
重载守护进程
systemctl daemon-reload
设为开机自启
systemctl enable elasticsearch.service 
进入elasticsearch目录备份文本
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
17行 clushter.name: my-elk-cluster
23行 node.name: node1
33行 path.data: /data/elk_data
37行 path.logs: /var/log/elasticsearch/
43行 bootstrap.memory_lock: false
55行 network.host: 0.0.0.0
59行 http.port: 9200
68行 discovery.zen.ping.unicast.hosts: ["node1","node2"]
创建数据存放目录
mkdir -p /data/elk_data
给权限
chown elasticsearch.elasticsearch /data/elk_data/
启动ela服务
systemctl start elasticsearch.service
端口查看
netstat -anpt |grep 9200

node2跟node1一样的配置

验证

宿主机访问  http://20.0.0.10:9200     http://20.0.0.20:9200   
集群健康检查和状态：
宿主机访问  http://20.0.0.10:9200/_cluster/health?pretty
                 http://20.0.0.20:9200/_cluster/statepretty

安装elasticsearch-head

[root@node1 ~]# yum -y install gcc gcc-c++ make

安装node组件
[root@node1 ~]# tar -zxvf node-v8.2.1.tar.gz
[root@node1 ~]# cd node-v8.2.1
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make -j3 && make install		#-j3 通过多线程加块make速度

安装phantomjs
[root@node1 ~]# tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/bin
[root@node1 bin]# cp phantomjs /usr/local/bin/		#命令优化，能直接敲不用输绝对路径

安装elasticsearch-head
[root@node1 ~]# tar -zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install		#这里需要npm安装
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true						#开启跨域访问支持，默认为false
http.cors.allow-origin: "*"					#跨域访问允许的域名地址
[root@node1 ~]# systemctl restart elasticsearch
[root@node1 ~]# netstat -anutp | grep 9200
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &	
[root@node2 ~]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm run start &			#在哪台上开启，就可以访问哪台主机的9100端口
[1] 66994
[root@node2 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100


浏览器访问20.0.0.10:9100 #node2也可以一样被访问
最上面一排显示 Elasticsearch http://localhost:9200 连接 群集健康值：未连接
将http://localhost:9200 改为http://20.0.0.10:9200 后，点击“连接”，就可以连接上了

登录node1主机手动创建索引index-demo,类型为test

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

在浏览器里刷新一下，即可看到索引index-demo，默认被分成5片，并且每片都有一个副本，也可以在页面创建索引
在这里插入图片描述

安装logstash

apache20.0.0.30安装logstash，并做一些日志收集输出到elasticsearch

[root@promote ~]# hostnamectl set-hostname apache
[root@promote ~]# su
[root@apache ~]# yum -y install httpd
[root@apache ~]# yum -y install java

安装logstash

[root@apache ~]# rpm -ivh logstash-5.5.1.rpm
[root@apache ~]# systemctl start logstash
[root@apache ~]# systemctl enable logstash
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash (Apache) 与elasticsearch (node)功能是否正常，做对接测试###
Logstash这个命令测试
字段描述解释:
-f通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e后面跟着字符串该字符串可以被当做logstash的配置 (如果是” ”，则默认使用stdin做为输入、 stdout作为输出)

[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{} }'
...
20:04:25.430 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com					#手动输入
2020-10-29T12:04:38.400Z apache www.baidu.com	#返回

[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
...
20:06:39.797 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.kgc.com
{
    "@timestamp" => 2020-10-29T12:06:48.143Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.kgc.com"
}

[root@apache ~]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["20.0.0.10:9200"] } }'
...
20:09:11.953 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com
www.sina.com

访问浏览器20.0.0.185:9100 刷新索引发现多了logstash-2020.10.29，并且查看数据会发现baidu与sina日志记录

配置logstash

[root@apache ~]# vim /etc/logstash/conf.d/system.conf
input {							#日志输入
        file {
        path => "/var/log/messages"		#日志文件路径
        type => "system"				#类型，可自定义，在创建索引时要对应
        start_position => "beginning"
        }
      }
output {						#日志输出
        elasticsearch {
        hosts => ["20.0.0.10:9200"]	#elasticsearch的主机及端口号
        index => "system-%{+YYYY.MM.dd}"	#索引名称
        }
      }

刷新192.168.100.11:9100,查看索引信息，多出system-2020.10.29

安装kibana
再找一台主机20.0.0.40安装kibana，来辅助我们进行日志分析统计

[root@localhost ~]# rpm -ivh kibana-5.5.1-x86_64.rpm 
[root@localhost ~]# cd /etc/kibana/
[root@localhost kibana]# cp kibana.yml kibana.yml.bak
[root@localhost kibana]# vim kibana.yml
  2 server.port: 5601								#端口号
  7 server.host: "0.0.0.0"							#对所有地址都可用
 21 elasticsearch.url: "http://20.0.0.10:9200"	#elasticsearch的url地址
 30 kibana.index: ".kibana"	
[root@localhost kibana]# systemctl enable kibana
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
[root@localhost kibana]# systemctl start kibana
[root@localhost kibana]# netstat -anutp | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      18751/node

浏览器访问20.0.0.40:5601

下面来对接apache日志的信息 apache服务器

[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# ls
system.conf
[root@apache conf.d]# vim apache_log.conf
input {
        file {
        path => "/etc/httpd/logs/access_log"	#apache日志路径
        type => "access"
        start_position => "beginning"
        }
        file {
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
      }
output {
        if [type] == "access" {
        elasticsearch {
        hosts => ["20.0.0.10:9200"]
        index => "access-%{+YYYY.MM.dd}"
        }
        }
        if [type] == "error" {
        elasticsearch {
        hosts => ["20.0.0.10:9200"]
        index => "error-%{+YYYY.MM.dd}"
        }
        }
      }




[root@apache conf.d]# cd /etc/httpd/logs/
[root@apache logs]# ls
[root@apache logs]# systemctl start httpd
[root@apache logs]# ls
access_log  error_log
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf    #注意当前工作目录/etc/logstash/conf.d/
...
21:20:27.400 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9601}

浏览器访问20.0.0.40:5601
首次登陆创建一个索引名字：error-* #这个是对接的apache错误日志点击下面的create 按钮，在最左上角Discover按钮，会发现error-* 的信息
浏览器访问apache网页产生access日志，在kibana上也能创建access-*索引，也能查看其相关信息

灬小特曼

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ELK日志分析系统服务

概述ELK日志分析系统Elasticsearch + Logstash + KibanaElasticsearch 提供一个分布式存储日志、多用户能力的全文搜索引擎Logstash 强大的数据处理工具，收集日志文件，转换日志格式后递交给Elasticsearch存储Kibana 搜索、查看存储在Elasticsearch索引中的数据，对数据进行分析Elasticsearch的概述提供了一个分布式多用户能力的全文搜索引擎Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个
复制链接

扫一扫