这里写目录标题
ELK
日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成，官方网站: https://www.elastic.co/products
ES(nosql非关数据库)：存储功能和索引
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内
Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)
日志服务器的优缺点
优点
提高安全性
集中存放日志
缺点
对日志的分析困难
日志处理步骤
将日志进行集中化管理
将日志格式化（Logstash）并输出到Elastucsearch
对格式化的数据进行索引和存储（Elasticsearch）
前端数据的展示（Kibana）
LogStash概述
一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（如过滤，改写等）以及数据输出
由三个组件组成：Input、Output、Filter Plugin
Input：获取日志
Output：输出日志
Filter Plugin：过滤日志、格式处理
LogStash主要组件
Shipper:日志收集者
负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent) 只需要运行这个组件
Indexer:日志存储者
负责接收日志并写入到本地文件
Broker:日志Hub
负责连接多个Shipper和多个Indexer
Searchandstorage
允许对事件进行搜索和存储
Web Interface
基于Web的展示界面
正是由于以上组件在LogStash架构中可独立部署，才提供了更好的集群扩展性
主机分类
代理主机(agent host) :作为事件的传递者(shipper)，将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;
中心主机(central host) :可运行包括中间转发器(Broker)、索引器(Indexer) 、搜索和存储器(Search and Storage )
Web界面端“(Web Interface) 在内的各个组件，以实现对日志数据的接收、处理和存储
Elasticsearch概念
接近实时(NRT)
elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
集群(cluster)
一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch
集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时， 配置成集群模式。es 具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一 身份标识(自己的名称) .
节点(node)
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。
索引
一个索引就是一个拥有积分相似特征的文档的集合，由一个名字来标识（必须全部是小写字母），索引相对于关系型数据库的库
类型
在一个索引种，可以定义一种或多种类型，一个类型是索引的一个逻辑上的分类/分区，其语义完全自定义。类型相对于关系型数据库的表
文档
一个文档是一个可被索引的基础信息单元，文档相对于关系型数据库的列
分片和副本
①分片的主要原因
a：水平分割扩展、增大存储量
b：分布式并行分片操作，提高性能和吞吐量
②副本的主要原因
a： 高可用性，以应对分片或节点故障
b： qps性能、增大吞吐量，搜索可以并行在所有副本上执行
③分片和副本的数量可以在索引创建的时候指定，在索引创建之后，可以动态地改变副本的数量，但是不能改变分片的数量
Kibana概述
一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示
Kibana主要功能
Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员收益
接口灵活，分享更容易
配置简单、可视化多数据源
简单数据导出
配置ELK日志分析系统
配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志
//
主机 操作系统 主机名 IP地址 主要软件
服务器 Centos7.4 node1 192.168.142.140 ElasticsearchKibana
服务器 Centos7.4 node2 192.168.142.141 Elasticsearch
服务器 Centos7.4 apache 192.168.142.142 Logstash Apache
配置elasticsearch环境（node1、node2）
//
echo '192.168.142.140 node1' >> /etc/hosts
echo '192.168.142.141 node2' >> /etc/hosts
[root@node1 ~]# tar xf jdk-8u91-linux-x64.tar.gz -C /usr/local/ //直接解压jdk
[root@node1 ~]# source /etc/profile
[root@node1 ~]# java -version //查看java版本
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)
[root@node1 ~]#
部署elasticsearch软件
//
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
警告：elasticsearch-5.5.0.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中... ################################# [100%]
Creating elasticsearch group... OK
systemctl daemon-reload ##加载系统服务
systemctl enable elasticsearch.service ##服务自启动
修改主配置文件
//
[root@node1 elasticsearch]# cp -a elasticsearch.yml elasticsearch.yml.bak //拷贝一份文件备份
[root@node1 elasticsearch]# vim elasticsearch.yml
[root@node1 elasticsearch]# vim elasticsearch.yml /修改配置文件
17 cluster.name: my-elk-cluster /定义集群名称，两node节点配置一致
23 node.name: node1 /当前节点名称.node2为node2
33 path.data: /data/elk_data /数据存放路径
37 path.logs: /var/log/elasticsearch /日志存放路径
43 bootstrap.memory_lock: false /关闭启动时锁定内存（前端缓存）
55 network.host: 0.0.0.0 /服务器监听IP，0.0.0.0监听所有
59 http.port: 9200 /监听端口9200
68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] /定义集群内部节点，集群发现通过单播实现
创建数据存放路径并修改属组主
//
[root@node1 elasticsearch]# mkdir -p /data/elk_data
[root@node1 elasticsearch]# chown elasticsearch /data/elk_data/
[root@node1 ~]# systemctl start elasticsearch.service //启动
[root@node1 ~]# netstat -antp | grep 9200 //监听9200端口
tcp6 0 0 :::9200 :::* LISTEN 22434/java
宿主机检测集群健康状态
//
http://192.168.142.140:9200/_cluster/health?pretty
http://192.168.142.141:9200/_cluster/health?pretty
安装elasticsearch-head插件
上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
安装node组件
//
[root@node1 ~]# yum -y install gcc gcc-c++ make
[root@node1 ~]# cd /opt
rz node-v8.2.1.tar.gz
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz
[root@node1 opt]# ls
elasticsearch-5.5.0.rpm node-v8.2.1 node-v8.2.1.tar.gz rh
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make && make install
##node1和node2都要装
安装phantomjs前端框架和可视化工具
//
[root@node1 node-v8.2.1]# cd /usr/local/src
[root@node1 src]# rz -E
rz waiting to receive.
[root@node1 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# ls
phantomjs-2.1.1-linux-x86_64 phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# ls
phantomjs
[root@node1 bin]# cp phantomjs /usr/local/bin ##将phantomjs可执行命令复制到路径环境变量中，便于系统识别
[root@node1 src]# cd /usr/local/src/ ##切换目录
rz elasticsearch-head.tar.gz
[root@node1 src]# tar zxvf elasticsearch-head.tar.gz ##解压
[root@node1 src]# ls
elasticsearch-head phantomjs-2.1.1-linux-x86_64
elasticsearch-head.tar.gz phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install ##npm基于前端开发，故用npm install安装命令
修改主配置文件并启动elasticsearch-head
//
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml ##末行插入
89 http.cors.enabled: true /开启阔约访问支持
90 http.cors.allow-origin: "*" /跨域范根允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service ##重新启动服务
[root@node1 elasticsearch-head]#
[root@node1 elasticsearch-head]# npm run start & ##后台启动
[1] 67781
[root@node1 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
创建索引
//
[root@node1 elasticsearch-head]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty' -H 'content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
在真机上查看索引
安装logstash
采集日志输出到elasticsearch，需先安装apache
测试功能是否正常
//
[root@apache opt]# systemctl enable logstash.service
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ /创建软连接
[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{} }'
ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path //usr/share/logstash/config/log4j2.properties. Using default config which logs to console
14:37:24.780 [[main]-pipeline-manager] INFO logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
14:37:24.821 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
14:37:24.907 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##做个测试
2021-08-21T06:39:57.742Z apache www.baidu.com
www.sina.com.cn ##做测试
2021-08-21T06:40:09.682Z apache www.sina.com.cn
使用rubydebug显示详细输出内容
//
[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }' ##rubydebug显示详细内容，codec是一种解码器，将 括号内容解码输出
ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path //usr/share/logstash/config/log4j2.properties. Using default config which logs to console
14:44:36.025 [[main]-pipeline-manager] INFO logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
14:44:36.042 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
14:44:36.070 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com
{
"@timestamp" => 2021-08-21T06:45:22.173Z,
"@version" => "1",
"host" => "apache",
"message" => "www.baidu.com"
}
www.sina.com
{
"@timestamp" => 2021-08-21T06:45:38.794Z,
"@version" => "1",
"host" => "apache",
"message" => "www.sina.com"
测试对接
//
[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.184.10:9200"] } }'
Logstash API endpoint {:port=>9600}
www.baidu.com ###输入内容
www.sina.com.cn ###输入内容
www.google.com.cn ###输入内容
对接配置
/
[root@apache ~]# chmod o+r /var/log/messages /给其他用户可读权限
[root@apache ~]# ll /var/log/messages
-rw----r--. 1 root root 736886 8月 21 14:54 /var/log/messages
[root@apache ~]# vim /etc/logstash/conf.d/system.conf /编辑配置文件
[root@apache ~]# cat /etc/logstash/conf.d/system.conf
input {
file{
path => "/var/log/messages" /路径
type => "system" /类型
start_position => "beginning" /起始点
}
}
output {
elasticsearch {
hosts => ["192.168.142.140:9200"] /主机 192.168.142.140：9200
index => "system-%{+YYYY.MM.dd}" /索引
}
}
在node1主机安装kibana并修改配置文件
//
cd /usr/local/src/
rz kibana-5.5.1-x86_64.rpm
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 /etc/kibana]# cp kibana.yml kibana.yml.bak
[root@node1 /etc/kibana]# vim kibana.yml
2 server.port: 5601 #kibana打开的端口
7 server.host: "0.0.0.0" #kibana侦听的地址
21 elasticsearch.url: "http://192.168.142.140:9200" #和elasticsearch建立联系
30 kibana.index: ".kibana" #在elasticsearch中添加.kibana索引
[root@node1 /etc/kibana]# systemctl start kibana.service #开启
[root@node1 /etc/kibana]# systemctl enable kibana.service #自启
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
