ELK目志分析系统简介
ELK是ElasticSearch，LogStash以及Kibana三个产品的首字母缩写。是可以和商业产品 Splunk 相媲美开源项目。
2013 年，Logstash 被 Elasticsearch 公司收购，ELK stack 正式成为官方用语。Elasticsearch是近两年最受关注的大数据项目之一，三次融资已经超过一亿美元。
ElasticSearch是一个基于全文检索引擎lucene实现的一个面向文档的schema free的数据库。所有对数据库的配置、监控及操作都通过Restful接口完成。数据格式为json。默认支持节点自动发现，数据自动复制，自动分布扩展，自动负载均衡。适合处理最大千万级别的数据的检索。处理效率非常高。可以理解为elasticSearch是一个在lucene基础上增加了restful接口及分布式技术的整合。
Logstash是一个对文件日志或者syslog日志以及其他各种类型的输入数据流进行解码，过滤，转换并转换为其他类型的数据流的软件，最常见的用法是将系统日志分析，结构化处理后倒入到ElasticSearch中。当然logstash也可以独立的完成很多日志/事件处理的工作，并不是必须要和ElasticSearch配合使用。
Kibana是一个通过Restful接口对ElasticSearch数据库进行检索，通过HTML5形式以柱状图，饼图，线图，地理位置分布图以及表格等形式展示数据的软件。
三者结合在一起能实现将海量的日志进行分析处理，并最终以丰富图表的形式进行展现。这三个软件虽然经常在一起使用，但是也可以分别单独工作。
实际使用中logstash相对于fluentd几乎完败，其所有的有点fluentd都具备。而且随着libbeat的发展，很多情况下消息都不需要经过logstash转换。所以对于logstash的使用可以简化和慎重考虑。可能的话应该考虑使用fluentd代替。
如果存在更大的数据量，例如大于千万级，ELK可以和Hadoop进行整合，实现对更大数据量的支持。
ELK一直在进行改进，除了上述的对日志的处理，通过使用libbeat的go语言架构还能类似top命令的图形显示以及通过网络流量分析实现应用，例如mysql,http的图形显示。
日志服务器
提高安全性
集中存放日志
缺陷
对日志的分析困难
Shipper:日志收集者。负责监控本地日志文件的变化，及时收集最新的日志文件内容。
Indexer:口志存储者。负责接收自志并写入到本地文件。
Broker:日志Hub。负责连接多个 Shipper和多个Indexer。
Search and Storage:允许对事件进行搜索和存储。
Web Interface:基于 Web的展示界面。
在L.ogstash中，包括了三个阶段，分别是输入(Input )、处理(Filter，非必需）和输出(Output)。
ELK日志分析系统
ElasticSearch
Logstash
Kibana
日志处理步骤
1.将日志进行集中化管理
2.将日志格式化(Logstash）并输出到Elasticsearch
3.对格式化后的数据进行索引和存储（Elasticsearch)
4.前端数据的展示(Kibana)
Elasticsearch介绍
Elasticsearch的概述
提供了一个分布式多用户能力的全文搜索引擎
Elasticsearch核心概念
接近实时
Elasticsearch的核心优势就是（Near Real Time NRT）近乎实时，我们称之为近实时。
NRT有两个意思，下面举例说明下：
从写入索引数据到数据可以被搜索到有一个小延迟（大概1秒）；
举个例子：电商平台新上架一个新商品，1秒后用户就可搜索到这个商品信息，这就是近实时。
基于Elasticsearch执行搜索和分析可以达到秒级查询
也举个例子说明，比如我现在想查询我在淘宝，最近一年都买过几件商品，总共花了多少钱，最贵的商品多少钱，哪个月买到东西最多，什么类型的商品买的最多这样的信息，如果淘宝说，你要等待10分钟才能出结果，你是不是很崩溃，这个延迟的时间就不是近实时，如果淘宝可以秒级别返回给你，就是近实时了。
下面画一个图，解释下三个基本概念的
集群（两台以上）
包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常。集群的目的为了提供高可用和海量数据的存储以及更快的跨节点查询能力。
节点(一台)
集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么它们会自动组成一个elasticsearch集群，当然一个节点也可以组成一个elasticsearch集群
索引
索引(库)→>类型（表)→>文档（记录)
document 是es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON数据结构表示，每个index下的type中，都可以去存储多个document。一个document里面有多个field，每个field就是一个数据字段。
分片和副本（1个服务器，一个副本，五个分片）
Shard 分片，也称 Primary Shard
单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。
每个shard都是一个lucene index。
Replica 副本,也称 Replica Shard
任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务，保证数据不丢失，多个replica还可以提升搜索操作的吞吐量和性能。
primary shard（建立索引时一次设置，不能修改，默认5个），
replica shard（随时修改数量，默认1个），
默认每个索引10个shard，5个primary shard，5个replica shard，最小的高可用配置，是2台服务器。
Logstash介绍
—款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（如过滤，改写等）以及数据输出
LogStash主要组件
Shipper：日志收集者，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端（agent）只需要运行这个组件即可
Indexer：日志存储者，负责接收日志并写入到本地文件
Broker：日志hub，负责连接多个shipper和多个indexer
Search and Storage：允许对事件进行搜索和存储
Web Interface：基于Web的展示界面
Kibana介绍
一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示
Kibana主要功能
Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出
部署ELK日志分析系统
环境部署
需求描述
配置ELK日志分析群集
使用Logstash收集日志
使用Kibana查看分析日志
添加映射（现只在node1上进行操作）
[root@node1 ~]# vi /etc/hosts
node1 20.0.0.11
node2 20.0.0.10
Elasticsearch配置（下面的操作都需要在node1、node2上配置），现只在node1节点上操作
[root@node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@node1 ~]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# vim elasticsearch.repo
[elasticsearch-2.x]
name=elasticsearch
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.etastic.co/GPG-KEY-elasticsearch
enable=1
[root@node1 ~]# yum list #查看yum清单
[root@node1 ~]# yum -y install elasticsearch #安装elasticsearch
[root@node1 ~]# java -version #查看Java版本
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.yml
17 cluster.name: elastic
23 node.name: node1 23 node.name: node2 此时不同步
33 path.data: /data/es-data
37 path.logs: /var/log/elasticsearch/
43 bootstrap.memory_lock: true
54 network.host: 0.0.0.0
58 http.port: 9200
修改配置文件
[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.yml
17 cluster.name: elastic //集群名称
23 node.name: node1 23 node.name: node2 此时不同步 //节点名称
33 path.data: /data/es-data //工作目录
37 path.logs: /var/log/elasticsearch/
43 bootstrap.memory_lock: true //防止交换swap分区
54 network.host: 0.0.0.0 //监听网络
58 http.port: 9200 //端口
报错问题
[root@node1 ~]# systemctl start elasticsearch.service
[root@node1 ~]# systemctl status elasticsearch.service //发现出现failed报错，原因是路径出现问题
● elasticsearch.service - Elasticsearch
Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: disabled)
Active: failed (Result: exit-code) since 三 2020-11-25 19:24:58 CST; 15s ago
Docs: http://www.elastic.co
Process: 52532 ExecStart=/usr/share/elasticsearch/bin/elasticsearch -Des.pidfile=${PID_DIR}/elasticsearch.pid -Des.default.path.home=${ES_HOME} -Des.default.path.logs=${LOG_DIR} -Des.default.path.data=${DATA_DIR} -Des.default.path.conf=${CONF_DIR} (code=exited, status=1/FAILURE)
Process: 52530 ExecStartPre=/usr/share/elasticsearch/bin/elasticsearch-systemd-pre-exec (code=exited, status=0/SUCCESS)
Main PID: 52532 (code=exited, status=1/FAILURE)
11月 25 19:24:58 node1 elasticsearch[52532]: # <http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html>
11月 25 19:24:58 node1 elasticsearch[52532]: #
11月 25 19:24:58 node1 elasticsearch[52532]: # ---------------------------------- Cluster -----------------------------------
11月 25 19:24:58 node1 elasticsearch[52532]: #
11月 25 19:24:58 node1 elasticsearch[52532]: # Use a descriptive name for your cluster:
11月 25 19:24:58 node1 elasticsearch[52532]: #
11月 25 19:24:58 node1 elasticsearch[52532]: cluster.name: elastic
11月 25 19:24:58 node1 systemd[1]: elasticsearch.service: main process exited, code=exited, status=1/FAILURE
11月 25 19:24:58 node1 systemd[1]: Unit elasticsearch.service entered failed state.
11月 25 19:24:58 node1 systemd[1]: elasticsearch.service failed.
创建目录及开启服务
[root@node1 ~]# mkdir -p /data/es-data
[root@node1 ~]# chown -R elasticsearch:elasticsearch /data/es-data
[root@node1 ~]# systemctl start elasticsearch.service
[root@node1 ~]# systemctl status elasticsearch.service
● elasticsearch.service - Elasticsearch
Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: disabled)
Active: active (running) since 四 2020-11-26 16:11:38 CST; 5s ago
Docs: http://www.elastic.co
Process: 2761 ExecStartPre=/usr/share/elasticsearch/bin/elasticsearch-systemd-pre-exec (code=exited, status=0/SUCCESS)
Main PID: 2764 (java)
CGroup: /system.slice/elasticsearch.service
└─2764 /bin/java -Xms256m -Xmx1g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+Us...
11月 26 16:11:40 node1 elasticsearch[2764]: [2020-11-26 16:11:40,080][WARN ][bootstrap ] If you are logged in interactively, you...e effect.
11月 26 16:11:40 node1 elasticsearch[2764]: [2020-11-26 16:11:40,212][INFO ][node ] [node1] version[2.4.6], pid[2764], buil...2:17:44Z]
11月 26 16:11:40 node1 elasticsearch[2764]: [2020-11-26 16:11:40,212][INFO ][node ] [node1] initializing ...
11月 26 16:11:40 node1 elasticsearch[2764]: [2020-11-26 16:11:40,790][INFO ][plugins ] [node1] modules [reindex, lang-expressi... sites []
11月 26 16:11:40 node1 elasticsearch[2764]: [2020-11-26 16:11:40,852][INFO ][env ] [node1] using [1] data paths, mounts [[... [rootfs]
11月 26 16:11:40 node1 elasticsearch[2764]: [2020-11-26 16:11:40,853][INFO ][env ] [node1] heap size [990.7mb], compressed...rs [true]
11月 26 16:11:42 node1 elasticsearch[2764]: [2020-11-26 16:11:42,597][INFO ][node ] [node1] initialized
11月 26 16:11:42 node1 elasticsearch[2764]: [2020-11-26 16:11:42,597][INFO ][node ] [node1] starting ...
11月 26 16:11:42 node1 elasticsearch[2764]: [2020-11-26 16:11:42,724][INFO ][transport ] [node1] publish_address {20.0.0.11:9300...::]:9300}
11月 26 16:11:42 node1 elasticsearch[2764]: [2020-11-26 16:11:42,729][INFO ][discovery ] [node1] elastic/AonjAR6XQair4W07gh4HmA
Hint: Some lines were ellipsized, use -l to show in full.
[root@node1 ~]# netstat -anpt | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 2764/java
测试
[root@node1 ~]# curl -i -XGET 'http://20.0.0.10:9200/_count?pretty' -d '{
> "query": {
> "match_all": {}
> }
> }'
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 95
{
"count" : 0,
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}
[root@node2 ~]# curl -i -XGET 'http://20.0.0.11:9200/_count?pretty' -d '{
> "query": {
> }
> }'
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 95
{
"count" : 0,
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}
安装elasticsearch-head插件，可视化工具，更方便查看集群信息，并管理集群，以node1为例（慢慢等待）
[root@node1 ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
-> Installing mobz/elasticsearch-head...
Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...
Downloading ...................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE
Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...
NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
Installed head into /usr/share/elasticsearch/plugins/head
测试
http://20.0.0.11:9200/_plugin/head/
复合查询：
（点击提交请求） 右边会出现索引
查询
删除后在查询
发现内容已删除
elasticsearch集群部署
修改主配置文件中单播列表自动发现机制
[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.yml //node节点1
：69 discovery.zen.ping.unicast.hosts: ["20.0.0.11", "20.0.0.10"]
[root@node1 ~]# systemctl restart elasticsearch.service
[root@node1 ~]# netstat -anpt | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 4964/java
[root@node2 ~]# vi /etc/elasticsearch/elasticsearch.yml //node节点2
discovery.zen.ping.unicast.hosts: ["20.0.0.10", "20.0.0.11"]
[root@node2 ~]# systemctl restart elasticsearch.service
[root@node2 ~]# netstat -antp | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 4489/java
重启服务
[root@node1 yum.repos.d]# systemctl restart elasticsearch.service
刷新页面并测试
会看到主分片和副本分片
此时表明 星号表示：master （主节点） 圆号表示：备份的（工作节点）
node-01和node-02日志提示不让锁内存
[root@node1 ~]# vi /etc/security/limits.conf
节点1 节点2最后一行后添加以下两行内容
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
[root@node1 ~]# systemctl restart elasticsearch.service
[root@node1 ~]# netstat -anpt | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 7291/java
[root@node1 elasticsearch]# systemctl stop elasticsearch.service
[root@node1 elasticsearch]# systemctl start elasticsearch.service
安装监控组件
[root@node1 ~]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
-> Installing lmenezes/elasticsearch-kopf...
Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip ...
Downloading ............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE
Verifying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip checksums if available ...
NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
[root@node2 ~]# cd /usr/share/elasticsearch/
[root@node2 elasticsearch]# ll
总用量 32
drwxr-xr-x. 2 root root 106 11月 25 19:14 bin
drwxr-xr-x. 2 root root 4096 11月 25 19:14 lib
-rw-r--r--. 1 root root 11358 4月 25 2017 LICENSE.txt
drwxr-xr-x. 5 root root 63 11月 25 19:14 modules
-rw-r--r--. 1 root root 150 4月 25 2017 NOTICE.txt
drwxr-xr-x. 4 elasticsearch elasticsearch 30 11月 27 03:01 plugins
-rw-r--r--. 1 root root 8700 4月 25 2017 README.textile
[root@node2 elasticsearch]# cd plugins/
[root@node2 plugins]# ll
总用量 4
drwxr-xr-x. 7 root root 4096 11月 26 22:34 head
drwxr-xr-x. 8 root root 230 11月 27 03:01 kopf
测试：查看监控组件
Logstash部署（apache上部署）
安装httpd并开启服务
[root@server1 ~]# systemctl start httpd
[root@server1 ~]# netstat -anpt | grep httpd
tcp6 0 0 :::80 :::* LISTEN 2693/httpd
[root@server1 ~]# echo '<h1>this is web!</h1>' > /var/www/html/index.html
[root@server1 ~]# curl http://localhost
<h1>this is web!</h1>
安装密钥及Logstash源
[root@server1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@server1 ~]# vi /etc/yum.repos.d/logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
安装Logstash
[root@server1 ~]# yum install logstash -y
创建超链接（不操作）
[root@server1 ~]# cd /etc/yum.repos.d/
[root@server1 yum.repos.d]# ln -s /opt/logstash/bin/logstash /usr/local/bin/
[root@server1 yum.repos.d]# systemctl start logstash.service
查看java版本
[root@server1 ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
logstash(Apache)与elasticsearch (node)功能是否正常，做对接测试
logstash字段描述解释
-f通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e后面跟着字符串该字符串可以被当做logstash的配置(如果是””,则默认使用stdin做为输入、stdout作为输出)
-t测试配置文件是否正确，然后退出
定义输入和输出流，类似管道，并验证输入输出
[root@server1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default filter workers: 2
Logstash startup completed
www.163.com //输入验证
2020-11-26T08:55:57.219Z server2 www.163.com
www.aliyun.com //输入验证
2020-11-26T08:56:04.890Z server2 www.aliyun.com
www.baidu.com //输入验证
2020-11-26T08:56:09.440Z server2 www.baidu.com
验证输出格式化,使用 rubydebug 显示详细信息输出，code为一种编解码
[root@server1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{codec => rubydebug} }'
Settings: Default filter workers: 2
Logstash startup completed
wangtong111 //输入验证
{
"message" => "wangtong111",
"@version" => "1",
"@timestamp" => "2020-11-26T08:57:59.677Z",
"host" => "server2"
}
使用logstash将信息写入elasticsearch 输入 输出 对接
[root@server1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["20.0.0.11:9200"] } }'
Settings: Default filter workers: 2
Logstash startup completed
wangtong //输入以下内容
xuwenyu
anhui
在node1上查看elasticsearch网页，成功输出
写入ES和同时生成文本
[root@server1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["20.0.0.11:9200"] } stdout { codec => rubydebug } }'
Settings: Default filter workers: 2
Logstash startup completed
shanghai
{
"message" => "shanghai",
"@version" => "1",
"@timestamp" => "2020-11-26T09:10:32.519Z",
"host" => "server2"
}
测试系统日志能否被采集
[root@server1 ~]# cd /opt/logstash/bin/
input {
file{
path => "/var/log/messages"
type => "system" #系统类型
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["20.0.0.11:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
查看索引切片情况
刷新网页，查看索引数据，成功输出了系统日志
在node1节点安装kibana
[root@node1 ~]# mkdir -p /usr/local/kibana
[root@node1 ~]# tar xzf kibana-4.3.1-linux-x64.tar.gz -C /usr/local/kibana
[root@node1 ~]# vi /usr/local/kibana/kibana-4.3.1-linux-x64/config/kibana.yml
2 server.port: 5601 //kibana打开的端口
5 server.host: "0.0.0.0" kibana侦听的地址
12 elasticsearch.url: "http://20.0.0.11:9200" 和elasticsearch建立联系
20 kibana.index: ".kibana" 在elasticsearch中添加.kibana索引
[root@node1 ~]# yum install screen -y
启动kibana
[root@node1 ~]# /usr/local/kibana/kibana-4.3.1-linux-x64/bin/kibana
log [00:27:46.653] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
log [00:27:46.676] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch
log [00:27:46.689] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready
log [00:27:46.693] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready
log [00:27:46.694] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready
log [00:27:46.697] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready
log [00:27:46.704] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready
log [00:27:46.707] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready
log [00:27:46.711] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready
log [00:27:46.719] [info][listening] Server running at http://0.0.0.0:5601
浏览器中登录20.0.0.11:5601，首次登录提示创建一个索引名字：
填入system-*，即对接系统日志文件名
同时也能看到刚才在kibana.yml中添加的在elasticsearch中添加.kibana索引配置生效了（用于验证kibana和elasticsearch是否成功连接）
扫一扫
392
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
