ELK日志分析系统有三部分组成
E：Elasticsearch
L：Logstash
K：Kibana
优点:提高安全性、集中化管理
缺点:对日志分析困难
Elasticsearch概述
提供了一个分布式多用户能力的全文搜索引擎
Elasticsearch特性
●接近实时
●集群
●节点
●索引
索引（库）→类型（表）→文档（记录）
●分片和副本
实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了，为了解决这个问题，elasticsearch提供将索引分成多个分片的功能，当在创建索引时，可以定义想要分片的数量。每个分片就是一个全功能的独立索引，可以位于集群中任何节点上。
分片：
●水平分割扩展，增大存储量
●分布式并行跨分片操作，提供性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的
网络问题等等其他问题可以在任何时候不期而至，为了健壮性，强烈建议要有个故障切换机制，无论何种故障以防止分片或者节点不可用，为此，elasticsearch让我们将索引分片复制一份或多份，称为分片副本或副本
副本：
●高可用性，以应对分片或者节点故障，出于这个原因，分片副本要在不同的节点上
●性能加强，增加吞吐量，搜索可以并行在所有副本上执行
LogStash概述
●一款强大的数据处理工具
●可实现数据传输、格式处理、格式化输出
●数据输入、数据加工（如过滤，改写等）以及数据输出
由三个组件组成：Input、Output、Filter Plugin
●Input：获取日志
●Output：输出日志
●Filter Plugin：过滤日志、格式处理
LogStash主要组件
●Shipper
●Indexer
●Broker
●Search and Storage
●Web Interface
Kibana概述
●一个针对Elasticsearch的开源分析及可视化平台
●搜索、查看存储在Elasticsearch索引中的数据
●通过各种图表进行高级数据分析及展示
Kibana主要功能
●Elasticsearch无缝之集成
●整合数据，复杂数据分析
●让更多团队成员收益
●接口灵活，分享更容易
●配置简单、可视化多数据源
●简单数据导出
日志处理步骤
①在所有需要收集日志的服务器上部署Logstash，或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
②Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中（实际中少则3台，多则数台，有master节点，node数据节点，1.用户节点（数量为3/1的node节点））。
③Elasticsearch 对格式化后的数据进行索引和存储。
④Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。
消息队列：消峰的作用，在数据高并发的情况下，对数据进行排队分批次处理，先处理一部分数据，后处理后面一部分数据以此类推，保证服务器的稳定运行
部署ELK日志分析系统
实验需求
●配置ELK日志分析集群
●使用Logstash收集日志
●使用Kibana查看分析日志
环境配置
| 主机 | 操作系统 | IP地址 | 安装包 / 软件 / 工具 |
|---|---|---|---|
| node1 | CentOS7 | 192.168.64.60 | Elasticsearch |
| node2 | CentOS7 | 192.168.64.70 | Elasticsearch |
| apache | CentOS7 | 192.168.64.50 | httpd / Logstash |
环境准备
#更改主机名
Node1节点：hostname node1
Node2节点：hostname node2
#配置域名解析
vim /etc/hosts
192.168.64.60 node1
192.168.64.70 node2
#查看Java环境，如果没有安装，yum install -y java-1.8.0-openjdk
java -version 配置elasticsearch环境（node1、node2）
node1（192.168.64.60）
node2（192.168.64.70）
（1）#上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
（2）#加载系统服务
systemctl daemon-reload
systemctl enable elasticsearch.service
（3）#修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
#查看主配置文件
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#将node1的配置文件拷贝一份在node2上并去node2上修改
scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/
vim /etc/elasticsearch/elasticsearch.yml
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node2
（4）#创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
（5）#启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200
（6）#查看节点信息
浏览器访问 ，查看节点 Node1、Node2 的信息
http://192.168.64.60:9200 http://192.168.64.70:9200
#健康：green
http://192.168.64.60:9200/_cluster/health?pretty
http://192.168.64.70:9200/_cluster/health?pretty
查询配置项
启动服务
网页查询
安装elasticsearch-head插件
上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
安装 Elasticsearch-head
需要提前安装好依赖软件 node 和 phantomjs。
●node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
●phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。
node1（192.168.64.60）
node2（192.168.64.70）
（1）#编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y
cd /opt
tar zxf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j2 && make install
（2）#安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
（3）#安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install
（4）#修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch
（5）#启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100
（6）#通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.59.115:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。访问有问题 可以将localhost 改成ip地址
（7）#插入索引
##登录192.168.64.60 node1主机##### 索引为index-demo,类型为test,可以看到成功创建
[root@node1 ~]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"wmc","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
####刷新浏览器输入看索引信息###
node1信息动作 01234
node2信息动作 01234
●图可以看见索引默认被分片5个，并且有一个副本
点击数据浏览--会发现在node1上创建的索引为index-demo,类型为test, 相关的信息
添加索引
安装logstash
安装logstash并做一些日志搜集输出到elasticsearch中
apache（192.168.64.50）
（1）#修改主机名
hostnamectl set-hostname apache
su
（2）#安装httpd并启动
yum -y install httpd
systemctl start httpd
（3）#安装java环境
yum -y install java
java -version
（4）#安装logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
cd /usr/share/logstash/
ls
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/#测试
logstash -e 'input { stdin{} } output { stdout{} }'
Logstash API endpoint {:port=>9600}
www.baidu.com
www.sina.com
www.baidu.com
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
"host" => "apache",
"@timestamp" => 2022-06-14T08:02:53.169Z,
"message" => "www.baidu.com",
"@version" => "1"
}
www.sina.com
{
"host" => "apache",
"@timestamp" => 2022-06-14T08:04:55.961Z,
"message" => "www.sina.com",
"@version" => "1"
}测试
使用logstash将信息写入elasticsearch中，输入 输出 对接
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.64.60:9200"] } }'
Logstash API endpoint {:port=>9600}
www.baidu.com ###输入内容
www.sina.com.cn ###输入内容
www.google.com.cn ###输入内容
Ctrl c
apache（192.168.64.50）做对接配置
Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。
(1)#给日志目录可读权限
chmod o+r /var/log/messages #让 Logstash 可以读取日志
（2）#修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。
vim /etc/logstash/conf.d/system.conf
input {
file{
path =>"/var/log/messages" #指定要收集的日志的位置
type =>"system" #自定义日志类型标识
start_position =>"beginning" #表示从开始处收集
}
}
output {
elasticsearch { #输出到 elasticsearch
hosts => ["192.168.64.60:9200"] #指定 elasticsearch 服务器的地址和端口
index =>"system-%{+YYYY.MM.dd}" #指定输出到 elasticsearch 的索引格式
}
}
（4）#重启服务
systemctl restart logstash.service
打开浏览器 输入http://192.168.64.60:9100/ 查看索引信息### 
在node1主机安装kibana
（1）#安装 Kiabana
#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
（2）#设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.64.60:9200"
--37--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
（3）#启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
（4）#验证 Kibana
浏览器访问 http://192.168.64.60:5601
第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
//输入：system-* #在索引名中输入之前配置的 Output 前缀“system”
单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果
对接apache日志文件（访问、错误）
#将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.64.60:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.64.60:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
/usr/share/logstash/bin/logstash -f apache_log.conf
6.#浏览器访问http://192.168.64.60:9100/测试，查看索引信息能发现
apache_error-2022.06.14 apache_access-2022.06.14
#浏览器访问http://192.168.64.60:5601
点击左下角有个management选项---index patterns---create index pattern
----分别创建apache_error-* 和 apache_access-* 的索引
835
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
