一:Elastic Stack 简介(1~2)
1.:Elastic Stack 简介
1)名称来源
2)技术栈组成
3)Elastic stack 每个组件的作用
4)四个技术具体解释
二:es—快速入门(3~13)
三:核心讲解(14~22)
四:全文搜索(23~27)
五:集群(28~34)
六:Java 客户端 & 课程总结(35~38)
参考:https://blog.csdn.net/qq_43056248/article/details/123048092
七:ELK 课程介绍 & 安装 Nignx(39~41)
1.:Nginx 日志分析系统:
1)项目需求:
2)业务流程 & 说明:
3)说明:
2.:部署安装 Nginx
tar -zxvf nginx-1.21.0.tar.gz
// 安装依赖环境
yum -y install gcc
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
// 安装
./configure
make
make install
// 启动
cd /usr/local/nginx/sbin/
./nginx
// 通过浏览器访问首页,并查看日志:
http://192.168.124.11:80/
tail -f /usr/local/nginx/logs/access.log
八:Beats 简介 & Filebeat 入门(42~49)
1.:Beats 简介
1)Elastic Stack 的组成:
2)官网介绍:https://www.elastic.co/beats/
-1:Filebeat
-2:Metricbeat
2.:介绍:Filebeat 采集日志文件
3.:Filebeat:架构:
1)用于监控、收集服务器日志文件。
2)架构图、工作流程图。
4.:运行 与 部署:
1)下载:https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.11.0-linux-x86_64.tar.gz
2)解压:
mkdir /usr/local/beats
tar -zxvf filebeat-7.11.0-linux-x86_64.tar.gz
3)在 filebeat 目录下,创建一个配置文件:itcast.yml
1 filebeat.inputs:
2 - type: stdin -- 启用输入(标准输入)
3 enabled: true -- 开启
4 setup.template.settings:
5 index.number_of_shards: 3 -- 指定分片数
6 output.console: -- 输出(控制台)
7 pretty: true -- 输出美化
8 enable: true -- 输出启用
4)启动 filebeat:
./filebeat -e -c itcast.yml -- 前台启动
./filebeat -e -c itcast.yml -d "publish"
-1:-e:输出到标准输出,默认是输出到 syslog 和 logs 下。
-2:-c:指定配置文件。
-3:-d:可以在 控制台输出打印 debug 信息。 (控制台打印:存储到 es 里的 json内容)(实际生产中,要去掉)。
5)访问测试:控制台输入 hello
6)运行结果如下:
5.:读取 Nginx 日志文件,输出到控制台:
1)配置 itcast-nginx.yml:
filebeat.inputs:
- type: log
enabled: true
paths: -- 读取文件的路径
- /usr/local/nginx/logs/access.log
setup.template.settings:
index.number_of_shards: 3 -- 指定分片数量
output.console:
pretty: true
enable: true
2)启动 filebeat:根据 itcast-nginx.yml:
// 启动 filebeat
./filebeat -e -c itcast-log.yml
3)访问 Nginx,使之生成日志。
4)观察 filebeat 输出:(message)
-1:可以看出,检测到 Nignx 日志文件有更新。
-2:立即就会读取到更新的内容,并且输出到控制台打印。
2022-02-24T20:03:24.877+0800 INFO log/harvester.go:302 Harvester started for file: /usr/local/nginx/logs/access.log
{
"@timestamp": "2022-02-24T12:03:24.877Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "7.11.0"
},
"agent": {
"hostname": "localhost",
"ephemeral_id": "cfbbbe52-b4d3-4a60-9437-7bcf89122640",
"id": "baa44686-68fa-48d2-9d5e-008844fa770a",
"name": "localhost",
"type": "filebeat",
"version": "7.11.0"
},
"log": {
"offset": 1026,
"file": {
"path": "/usr/local/nginx/logs/access.log"
}
},
"message": "192.168.124.5 - - [24/Feb/2022:20:03:22 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"",
"input": {
"type": "log"
},
"ecs": {
"version": "1.6.0"
},
"host": {
"name": "localhost"
}
}
6.:自定义字段:配置读取文件项:itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths: -- 读取文件的路径
- /usr/local/nginx/logs/access.log
// 添加自定义 tag,便于后续的区分、处理
tags: ["nginx---1----nginx","nginx----2-----nginx"]
// 添加 自定义字段
fields:
form: fields---1----fields
// true:为添加到跟节点中。false:为添加到子节点中。
fields_under_root: true
setup.template.settings:
index.number_of_shards: 3 -- 指定分片数量
output.console:
pretty: true
enable: true
1)添加 tags 后效果:
"message": "192.168.124.5 - - [26/Feb/2022:12:31:21 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"",
"tags": [
"nginx---1----nginx",
"nginx----2-----nginx"
],
2)添加 fields 后效果:
-- false
{
"fields": {
"form": "fields---1----fields"
}
}
-- true
{
"form": "fields---1----fields"
}
7.:读取 Nginx 日志,收集输出到 Elasticsearch
1)修改配置:
2)再次启动 filebeat:
3)访问 Nginx,生成日志:
-1:索引库以天为单位,划分存储:
-2:查询es的状态、新增索引状态、数据:
4)存在问题:
-1:可以看到:在 message 中,已经获取到了 nginx 的日志,但是,内容并没有经过处理,只是读取到原数据。
-2:那么,对于我们后期的操作,是不利的,有办法解决吗?
-3:引入 Module:
"message": "192.168.124.5 - - [24/Feb/2022:20:03:22 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"",
8.:Filebeat 工作原理:
Filebeat 由两个主要组件组成:【 prospector 和 harvester】
1)harvester:【收割机】
-1:负责读取单个文件的内容。
-2:如果文件在读取时,被删除或重命名,Filebeat 将继续跟踪这个文件,继续读取这个文件。
2)prespector:【勘探者; 探矿者】
-1:prespector 负责管理 harverster。并找到所有要读取的文件来源。
-2:如果输入类型为日志,则查找器,将查找路径匹配的所有文件。并为每个文件,启动一个 harvester。
-3:Filebeat 目前支持两种 prospector 类型:
-:1、log(日志文件)
-:2、stdin(标准输入)
3)Filebeat 如何保持文件的状态:
-1: Filebeat 保存每个文件的状态,并经常将状态,刷新到磁盘上的注册文件中。(文件状态记录在 data/redistry 文件中。)
-2:该状态,用于记住 harvester 正在读取文件最后的偏移量,并确保发送所有日志行。
-3:如果输出(例如:Elasticsearch 或 Logstash)无法访问,Filebeat 会跟踪最后发送的行,并在输出再次可用时,继续读取文件。再次发送数据。(Fliebeat 自动完成)
-4:在 Filebeat 运行时,每个 prospector 内存中,也会保存的文件状态信息(减少文件保存次数,减少IO的开销)。
当重启 Filebeat 时,将使用注册文件的数据,来重建文件状态。Filebeat 将每个 harverster 在从保存的最后偏移量继续读取。
9.:Module 的使用
1)前面:要想实现日志数据的读取,以及处理,都是手动配置的。
其实,在 Filebeat 中,有大量的 Module,可以简化我们的配置,直接就可以使用,如下:
2)查看 Module 列表:
./filebeat modules list
3)启用 & 禁用 Nginx
./filebeat modules enable nginx
./filebeat modules disable nginx
4)启用后查看:可以发现,已经被启用
5)nginx module 配置
(Nginx.yml 未使用:.disabled 结尾,说明文件已启用)
-1:修改 Module 文件:配置日志 & 错误 日志地址
vim modules.d/nginx.yml
4 - module: nginx
5 # Access logs
6 access:
7 enabled: true
// 安装日期存储,所以要使用 *
8 var.paths: [" /usr/local/nginx/logs/access.log*"]
9
15 error:
16 enabled: true
17 var.paths: [" /usr/local/nginx/logs/error.log*"]
-2:配置 filebeat:(注释部分代码,添加新的 module 配置)
filebeat.inputs:
#- type: log
# enabled: true
# paths:
# - /usr/local/nginx/logs/access.log
# tags: ["my-nginx"]
setup.template.settings:
index.number_of_shards: 3
output.elasticsearch:
hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
6)启动 filebeat:有可能报错,执行提示即可:(安装依赖)
7)访问 nginx,查看记录的日志:
1、日志格式样式,已发生改变。做了一定的解析。
2、其他的 Module 使用方法,参考官方文档。
九:Metricbeat 入门(采集指标数据)(50~52)
1.:Metricbeat 介绍:
1)定义收集,操作系统或应用服务的 指标数据 。
2)存储到 Elasticsearch 中,进行实时分析。
2.:Metricbeat 组成:Metricbeat 由两部分组成:(Module & Metricset)
1)Module:
收集的对象,如:mysql、redis、nginx、操作系统。
2)Metricset:
收集指标的集合,如:cpu、memory、network等。
以 redis Module 为例,查看是如何收集指标数据的?(其他的也类似)
3.:部署与收集系统指标:
1)下载:
-1:https://www.elastic.co/downloads/beats/metricbeat
-2:https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.11.0-linux-x86_64.tar.gz
2)解压:
tar -zxvf metricbeat-7.11.0-linux-x86_64.tar.gz
3)查看配置文件,并修改配置:vim metricbeat.yml
13 metricbeat.config.modules:
14 path: ${path.config}/modules.d/*.yml
93 output.elasticsearch:
94 hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]
4)启动:
./metricbeat -e
4.:启动后:可以看到指标数据已经被写入到 Elasticsearch
5.:Module 的使用:
1)查看 系统级,采集配置文件:(默认开启)
-1:vim /modules.d/system.yml
6.:Nginx Module 配置
1)查看 / 开启 / 关闭 Nginx module
./metricbeat modules list
./metricbeat modules enable nginx
2)开启 Ngnix module
-1:在 Nginx 中,需要开启状态查询,才能查询到指标数据:
-2:重新编译 Nginx
./configure --prefix=/usr/local/nginx --with-http_stub_status_module
./configure --prefix=/usr/local/nginx --with-http_stub_status_module
make
make install
-3:查看 Nginx 版本:(大写)
./nginx -V
// 应该显示内容如下:
nginx version: nginx/1.21.0
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)
configure arguments: --with-http_stub_status_module
-4:修改 nginx 配置文件:vim conf/nginx.conf
35 server {
36 listen 80;
37 server_name localhost;
38 location /nginx-status {
39 stub_status on;
40 access_log off;
41 }
-5:重启 Nginx
./sbin/nginx -s stop
./sbin/nginx
3)访问,查询 nginx 状态信息:http://192.168.124.11/nginx-status
4)结果说明:
-1:Active connections:表示正在处理等活动连接数。
-2:server、accepts、handled requests:
-3:Reading、Writing、Waiting:
5)配置 Nginx Module:
-1:启用 nginx module
./metricbeat modules enable nginx
-2:修改 配置文件:module.d/nginx.yml
10 hosts: ["http://192.168.124.11:80"]
//和访问 Nginx 控制台配置路径相同
13 server_status_path: "nginx-status"
-3:启动
./metricbeat -e
6)控制台:
十:Kibana 入门(53~57)
Kibana 介绍
1)官网介绍:https://www.elastic.co/cn/kibana/
2)讲义介绍:
-1:Kibana:是一款开源的数据分析和可视化平台,它是 Elastic stack 成员之一,设计用于和 Elasticseatch 协作。
-2:您可以使用 Kibana,对 Elasticsearch 索引中的数据,进行搜索、查看、交互等操作。
-3:也可以很方便的,利用图表、表格以及地图,对数据进行多元化的分析和呈现。
1.:Kibana 配置安装
1)下载,解压安装包https://artifacts.elastic.co/downloads/kibana/kibana-7.11.0-linux-x86_64.tar.gz
tar -zxvf kibana-7.11.0-linux-x86_64.tar.gz
2)修改配置文件:vim config/kibana.yml
// 修改 对外暴露服务的地址
7 server.host: "192.168.124.11"
// 配置 Elasticsearch(6.x版本可能为注释内容)
// elasticsearch.url: "http://192.168.124.11:9200"
32 elasticsearch.hosts: ["http://192.168.124.11:9200"]
3)启动:(需要切换非 root 用户)
./bin/kibana
4)浏览器进行访问:http://192.168.124.11:5601
2:功能说明:
3.:Discover:数据探索
1)首先添加索引信息:
2)刷新 Discover,会出现数据:
4.:Metricbeat 仪表盘
1)可以将 Metricbeat 的数据,在 Kibana 中,使用仪表盘方式 展示:
2)Metricbeat 中的配置操作:
-1:修改 metricbeat 配置:vim metricbeat.yml
61 setup.kibana:
67 host: "192.168.124.11:5601"
-2:安装 仪表盘 到 Kibana:(要确保 Kibana 处于运行状态)(速度慢)
./metricbeat setup --dashboards
// 安装成功提示
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
-3:启动 Metricbeat,使之不断产生数据:
./metricbeat -e
5.1:System 指标仪表盘(Metricbeat)
5.2:Nginx 指标仪表盘(Metricbeat)
6.:Nginx 日志仪表盘(Filebeat)
1)修改配置文件:vim itcast-nginx.yml
1 filebeat.inputs:
2 #- type: log
3 # enabled: true
4 # paths:
5 # - /usr/local/nginx/logs/access.log
6 # tags: ["my-nginx"]
7 setup.template.settings:
8 index.number_of_shards: 3
9 output.elasticsearch:
10 hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]
11
12 filebeat.config.modules:
13 path: ${path.config}/modules.d/*.yml
14 reload.enabled: false
/* 新增:*/
15 setup.kibana:
16 host: "192.168.124.11:5601"
2)filebeat 安装 仪表盘到 kibana中 (慢)
./filebeat -c itcast-nginx.yml setup
// 响应打印:
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
3)启动 filebeat:
./filebeat -e -c itcast-nginx.yml
3)访问 Kibana,查看日志仪表盘:搜索:Filebeat Nginx Overview
7.:自定义图表
1)在 Kibana 中,也可以进行自定义图表,如制作柱形图。
8.:开发者工具(Dev Tools)
十一:LogStash 入门(58~60)
1.:Logstash 入门 & 简介
1)简介:
-1:官网:https://www.elastic.co/cn/logstash/
2)用途:输入 -> 处理 -> 输出
2.:Logstassh 部署安装 & demo:
1)检查 JDK 环境,要求 1.8(因为 Logstash 是 java 开发的)
java -version
2)下载 & 解压安装包:
// 下载:https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
tar -zxvf logstash-7.10.0-linux-x86_64.tar.gz
3)第一个基本 Logstash 示例演示:启动很慢,java写的,需先启动虚拟机。
./bin/logstash -e 'input { stdin { } } output { stdout {} }'
4)执行效果如下:输入 hello,输出 json
hello
{
"message" => "hello",
"@timestamp" => 2022-02-25T11:04:02.760Z,
"host" => "localhost",
"@version" => "1"
}
3.:配置详解:(3 部分)
1)input:输入:
-1:采集各种样式、大小和来源的数据。数据往往以各种各样的形式,或分散、或集中的,存在于很多系统中。
-2:Logstash 支持各种输入选择。可以在同一时间,从众多常用来源捕捉事件。
-3:能够以连续的流式传输方式,轻松的从您的日志、指标、Web应用、数据存储,以及各种 AWS 服务采集数据。
2)filter:过滤(重要):对数据进行分割、截取等处理:
-1:实时解析和转换数据。
-2:数据从源,传输到存储库的过程中。Logstash 过滤器能够解析各个事件,识别已命名的字段,以构建结构。
-3:并将它们转换成为通用格式,以便更轻松、跟快速的分析和实现商业价值。
3)output:输出
-1:Logstash 提供众多输出选择,您可以将数据,发送到您指定的地方,并且能够灵活的解锁众多下游用例。
4.:读取自定义日志 & 解析处理:
1)说明:
-1:前面我们通过 Filebeat,读取了 Nginx 的日志,如果是自定义结构的日志,就需要读取处理后,才能使用。
-2:所以,这个时候就需要使用 Logstash 了。因为 Logstash 有着强大的处理能力,可以应对各种各样的场景。
2)日志结构:
-1:可以看到,日志中的内容,是使用“|”进行分割的,使用,我们在处理时候,也需要对数据做分割处理。
3)编写配置文件:vim itcast-pipeline.conf
input {
file { 读取来源是一个文件
path => "/itcast/logstash/logs/app.log" 读取这个日志文件
start_position => "beginning" 从日志文件开头,开始读取
}
}
filter { 过滤:
mutate {
split => {"message" => "|"} 拿到 message 数据,用 “|”进行分割
}
}
output {
stdout { codec => rubydebug } 标准的控制台输出
}
4)创建对应的日志文件:
mkdir -p /itcast/logstash/logs/app.log
5)启动:
./bin/logstash -f itcast-pipeline.conf
6)追加写日志,到文件:(另一个控制台)
echo "20190-02-02 21:21:21|ERROR|读取文件出错|参数:ID= 18" ->> app.log
7)查看效果:(捕获数据,并对字符串进行了分割)
5.:实战使用:输出到 Elasticsearch:
1)修改配置文件:vim itcast-pipeline.conf
input {
file {
path => "/itcast/logstash/logs/app.log"
# type => "system"
start_position => "beginning"
}
}
filter { 过滤:
mutate {
split => {"message" => "|"} 拿到 message 数据,用 “|”进行分割
}
}
output {
elasticsearch {
hosts => {"192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"}
}
}
2)启动:Logstash
./bin/logstash -f ./itcast-pipeline.conf
3)写入数据:
echo "20190-02-02 21:21:21|ERROR|读取文件出错|参数:ID= 18" ->> app.log
4)查看 Elasticseatch 的 Kibana 控制台 数据:
十二:Elastic Stack 综合练习 & 总结(61~65)
下面,我们将前面,学习到的 【Elasticsearch + Logstash + Beats + Kibana】整合起来。做一个综合性的练习。
目的:就是让学生们,更加深刻的理解 Elastic Stack 的使用。
1.:流程说明:
1)图示:
2)解释:(日志格式、图表、Dashboard 都是自定义的)
-1:应用 APP 生产日志,用来记录用户的操作:
-2:通过 Filebeat 读取日志文件中的内容。并且将内容,发送给 Logstash,原因是需要对内容进行处理。
-3:Logstash 接收到内容后,进行处理。如分割操作。然后将内容发送到 Elasticsearch 中。
-4:Kibana 会读取 Elasticsearch 中的数据。并且在 Kibana 中,进行设计 Dashboard,最后进行展示。
2.:APP 介绍:
1)说明:APP 在生产环境中,应该是真实的系统,然而,我们现在仅是学习,为了简化操作,所以就做数据的模拟生成即可。业务代码如下:
@Data
@RestController
public class test {
private static final Logger logger = LoggerFactory.getLogger(test.class);
@RequestMapping(value = "/hhh")
public void hello() throws InterruptedException {
while (true) {
LocalDateTime now = LocalDateTime.now();
String format = now.format(DateTimeFormatter.ISO_LOCAL_DATE_TIME);
String result = "开始|" + format + "|日志|" + "|结束";
Thread.sleep(2000);
logger.info(result);
}
}
}
2)将 app 打成 jar 包,放置服务器上并启动:
java -jar xxx.jar
java -jar xxx.jar & -- 后台打印生成
3)查看生成日志文件:
3.:Filebeat:
1)修改 Filebeat 配置文件:vim itcast-dashboard.yml
1 filebeat.inputs:
2 - type: log
3 enabled: true
4 paths:
5 - /app/testapollo/*.log
6 setup.template.settings:
7 index.number_of_shards: 3
// 日志输出到 Logstash
8 output.logstash:
9 hosts: ["192.168.124.11:5044"]
2)启动 Filebeat:(需要先启动 Logstash 后)
./filebeat -e -c itcast-dashboard.yml
4.:Logstash:
1)编辑 Logstash 配置文件:vim itcast-dashboard.conf
// 简单的版本,控制台打印,测试是否联通
// (logstash 控制台会打印数据)
1 input {
2 beats {
3 port => "5044"
4 }
5 }
6
7 filter {
8 mutate {
9 split => { "message" => "|" }
10 }
11 }
12
13 output {
14 # stdout {
15 # codec => rubydebug
16 # }
17 elasticsearch {
18 hosts => [192.168.124.11:9200]
19 }
20 }
2)启动 es、Logstash、filebeat:
./bin/logstash -f itcast-dashboard.conf
./filebeat -e -c itcast-dashboard.yml
3)使用 插件 / kibana,查询保存到 es 的字段:
4)
5)
6)
7)
5.:Kibana:
-1:启动 Kibana & 通过浏览器进行访问:
./bin/kibana
http://192.168.124.11:5601
-2:添加 Logstash 索引,到 Kibana 中。
1)时间间隔的柱形图:
2)各个操作的饼图分布:
3)数据表格:
4)制作 DashBoard:
6.:课程总结:
1)
-1: