黑马程序员—Elasticsearch—ELK

已于 2022-03-19 09:15:44 修改
阅读量9.4k 收藏 5
点赞数 3
分类专栏： # - 5.6：搜索引擎 文章标签： java
于 2022-02-22 23:31:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43056248/article/details/123079806
版权

视频地址

一：Elastic Stack 简介（1～2）

1.：Elastic Stack 简介

   1）名称来源
在这里插入图片描述
   2）技术栈组成
在这里插入图片描述
   3）Elastic stack 每个组件的作用
在这里插入图片描述
   4）四个技术具体解释
在这里插入图片描述
在这里插入图片描述


二：es—快速入门（3～13）

三：核心讲解（14～22）

四：全文搜索（23～27）

五：集群（28～34）

六：Java 客户端 & 课程总结（35～38）

参考：https://blog.csdn.net/qq_43056248/article/details/123048092



七：ELK 课程介绍 & 安装 Nignx（39～41）

1.：Nginx 日志分析系统：

   1）项目需求：
在这里插入图片描述
   2）业务流程 & 说明：
在这里插入图片描述
   3）说明：
在这里插入图片描述

2.：部署安装 Nginx
tar -zxvf nginx-1.21.0.tar.gz
// 安装依赖环境
yum -y install gcc
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
// 安装 
./configure
make
make install
// 启动
cd /usr/local/nginx/sbin/
./nginx
// 通过浏览器访问首页，并查看日志：
http://192.168.124.11:80/
tail -f /usr/local/nginx/logs/access.log





八：Beats 简介 & Filebeat 入门（42～49）

1.：Beats 简介

   1）Elastic Stack 的组成：
在这里插入图片描述
   2）官网介绍：https://www.elastic.co/beats/
    -1：Filebeat
    -2：Metricbeat
在这里插入图片描述

2.：介绍：Filebeat 采集日志文件

在这里插入图片描述

3.：Filebeat：架构：

   1）用于监控、收集服务器日志文件。
   2）架构图、工作流程图。
在这里插入图片描述

4.：运行 与 部署：

   1）下载：https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.11.0-linux-x86_64.tar.gz
   2）解压：

mkdir /usr/local/beats
tar -zxvf filebeat-7.11.0-linux-x86_64.tar.gz

   3）在 filebeat 目录下，创建一个配置文件：itcast.yml

  1 filebeat.inputs:
  2 - type: stdin		-- 启用输入（标准输入）
  3   enabled: true		-- 开启
  4 setup.template.settings:
  5   index.number_of_shards: 3		-- 指定分片数
  6 output.console:		-- 输出（控制台）
  7   pretty: true	-- 输出美化
  8   enable: true	-- 输出启用

   4）启动 filebeat：

./filebeat -e -c itcast.yml		-- 前台启动
./filebeat -e -c itcast.yml	-d "publish"

    -1：-e：输出到标准输出，默认是输出到 syslog 和 logs 下。
    -2：-c：指定配置文件。
    -3：-d：可以在 控制台输出打印 debug 信息。 （控制台打印：存储到 es 里的 json内容）（实际生产中，要去掉）。

   5）访问测试：控制台输入 hello
   6）运行结果如下：
在这里插入图片描述

5.：读取 Nginx 日志文件，输出到控制台：

   1）配置 itcast-nginx.yml：

filebeat.inputs:
- type: log
  enabled: true
  paths:		-- 读取文件的路径
    - /usr/local/nginx/logs/access.log
setup.template.settings:
  index.number_of_shards: 3		-- 指定分片数量
output.console:
  pretty: true
  enable: true

   2）启动 filebeat：根据 itcast-nginx.yml：

// 启动 filebeat
./filebeat -e -c itcast-log.yml

   3）访问 Nginx，使之生成日志。
   4）观察 filebeat 输出：（message）
    -1：可以看出，检测到 Nignx 日志文件有更新。
    -2：立即就会读取到更新的内容，并且输出到控制台打印。

2022-02-24T20:03:24.877+0800    INFO    log/harvester.go:302    Harvester started for file: /usr/local/nginx/logs/access.log
{
  "@timestamp": "2022-02-24T12:03:24.877Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "7.11.0"
  },
  "agent": {
    "hostname": "localhost",
    "ephemeral_id": "cfbbbe52-b4d3-4a60-9437-7bcf89122640",
    "id": "baa44686-68fa-48d2-9d5e-008844fa770a",
    "name": "localhost",
    "type": "filebeat",
    "version": "7.11.0"
  },
  "log": {
    "offset": 1026,
    "file": {
      "path": "/usr/local/nginx/logs/access.log"
    }
  },
  "message": "192.168.124.5 - - [24/Feb/2022:20:03:22 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"",
  "input": {
    "type": "log"
  },
  "ecs": {
    "version": "1.6.0"
  },
  "host": {
    "name": "localhost"
  }
}
6.：自定义字段：配置读取文件项：itcast-log.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:		-- 读取文件的路径
    - /usr/local/nginx/logs/access.log
  // 添加自定义 tag，便于后续的区分、处理
  tags: ["nginx---1----nginx","nginx----2-----nginx"]
  // 添加 自定义字段
  fields:
    form: fields---1----fields
  // true：为添加到跟节点中。false：为添加到子节点中。
  fields_under_root: true
setup.template.settings:
  index.number_of_shards: 3		-- 指定分片数量
output.console:
  pretty: true
  enable: true

   1）添加 tags 后效果：

  "message": "192.168.124.5 - - [26/Feb/2022:12:31:21 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"",
  "tags": [
    "nginx---1----nginx",
    "nginx----2-----nginx"
  ],

   2）添加 fields 后效果：

-- false
{
  "fields": {
    "form": "fields---1----fields"
  }
}
-- true
{
    "form": "fields---1----fields"
}
7.：读取 Nginx 日志，收集输出到 Elasticsearch

   1）修改配置：
在这里插入图片描述
   2）再次启动 filebeat：
   3）访问 Nginx，生成日志：
    -1：索引库以天为单位，划分存储：
    -2：查询es的状态、新增索引状态、数据：
在这里插入图片描述
在这里插入图片描述
   4）存在问题：
    -1：可以看到：在 message 中，已经获取到了 nginx 的日志，但是，内容并没有经过处理，只是读取到原数据。
    -2：那么，对于我们后期的操作，是不利的，有办法解决吗？
    -3：引入 Module：

"message": "192.168.124.5 - - [24/Feb/2022:20:03:22 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"",
8.：Filebeat 工作原理：

    Filebeat 由两个主要组件组成：【 prospector 和 harvester】
   1）harvester：【收割机】
    -1：负责读取单个文件的内容。
    -2：如果文件在读取时，被删除或重命名，Filebeat 将继续跟踪这个文件，继续读取这个文件。
   2）prespector：【勘探者; 探矿者】
    -1：prespector 负责管理 harverster。并找到所有要读取的文件来源。
    -2：如果输入类型为日志，则查找器，将查找路径匹配的所有文件。并为每个文件，启动一个 harvester。
    -3：Filebeat 目前支持两种 prospector 类型：
      -：1、log（日志文件）
      -：2、stdin（标准输入）
   3）Filebeat 如何保持文件的状态：
    -1： Filebeat 保存每个文件的状态，并经常将状态，刷新到磁盘上的注册文件中。（文件状态记录在 data/redistry 文件中。）
    -2：该状态，用于记住 harvester 正在读取文件最后的偏移量，并确保发送所有日志行。
    -3：如果输出（例如：Elasticsearch 或 Logstash）无法访问，Filebeat 会跟踪最后发送的行，并在输出再次可用时，继续读取文件。再次发送数据。（Fliebeat 自动完成）
    -4：在 Filebeat 运行时，每个 prospector 内存中，也会保存的文件状态信息（减少文件保存次数，减少IO的开销）。
    当重启 Filebeat 时，将使用注册文件的数据，来重建文件状态。Filebeat 将每个 harverster 在从保存的最后偏移量继续读取。在这里插入图片描述

9.：Module 的使用

   1）前面：要想实现日志数据的读取，以及处理，都是手动配置的。
       其实，在 Filebeat 中，有大量的 Module，可以简化我们的配置，直接就可以使用，如下：
   2）查看 Module 列表：

./filebeat modules list

在这里插入图片描述
   3）启用 & 禁用 Nginx

./filebeat modules enable nginx
./filebeat modules disable nginx

   4）启用后查看：可以发现，已经被启用
在这里插入图片描述
   5）nginx module 配置
（Nginx.yml 未使用：.disabled 结尾，说明文件已启用）
在这里插入图片描述
    -1：修改 Module 文件：配置日志 & 错误 日志地址

vim modules.d/nginx.yml

  4 - module: nginx
  5   # Access logs
  6   access:
  7     enabled: true
  		// 安装日期存储，所以要使用 *
  8     var.paths: [" /usr/local/nginx/logs/access.log*"]
  9    
 15   error:
 16     enabled: true
 17     var.paths: [" /usr/local/nginx/logs/error.log*"]

    -2：配置 filebeat：（注释部分代码，添加新的 module 配置）

filebeat.inputs:
#- type: log
#  enabled: true
#  paths:
#    - /usr/local/nginx/logs/access.log
#  tags: ["my-nginx"]
setup.template.settings:
  index.number_of_shards: 3
output.elasticsearch:
  hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

   6）启动 filebeat：有可能报错，执行提示即可：（安装依赖）
在这里插入图片描述
   7）访问 nginx，查看记录的日志：
    1、日志格式样式，已发生改变。做了一定的解析。
    2、其他的 Module 使用方法，参考官方文档。
在这里插入图片描述




九：Metricbeat 入门（采集指标数据）（50～52）

1.：Metricbeat 介绍：

   1）定义收集，操作系统或应用服务的 指标数据 。
   2）存储到 Elasticsearch 中，进行实时分析。
在这里插入图片描述

2.：Metricbeat 组成：Metricbeat 由两部分组成：（Module & Metricset）

   1）Module：
收集的对象，如：mysql、redis、nginx、操作系统。
   2）Metricset：
收集指标的集合，如：cpu、memory、network等。
   以 redis Module 为例，查看是如何收集指标数据的？（其他的也类似）
在这里插入图片描述
在这里插入图片描述

3.：部署与收集系统指标：

   1）下载：
    -1：https://www.elastic.co/downloads/beats/metricbeat
    -2：https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.11.0-linux-x86_64.tar.gz
   2）解压：

tar -zxvf metricbeat-7.11.0-linux-x86_64.tar.gz

   3）查看配置文件，并修改配置：vim metricbeat.yml

 13 metricbeat.config.modules:
 14   path: ${path.config}/modules.d/*.yml
 
 93 output.elasticsearch:
 94   hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]

   4）启动：

./metricbeat -e

在这里插入图片描述

4.：启动后：可以看到指标数据已经被写入到 Elasticsearch

在这里插入图片描述
在这里插入图片描述

5.：Module 的使用：

   1）查看 系统级，采集配置文件：（默认开启）
    -1：vim /modules.d/system.yml
在这里插入图片描述

6.：Nginx Module 配置

   1）查看 / 开启 / 关闭 Nginx module

./metricbeat modules list 
./metricbeat modules enable nginx

   2）开启 Ngnix module
    -1：在 Nginx 中，需要开启状态查询，才能查询到指标数据：
    -2：重新编译 Nginx

./configure --prefix=/usr/local/nginx --with-http_stub_status_module
./configure --prefix=/usr/local/nginx --with-http_stub_status_module
make
make install

    -3：查看 Nginx 版本：（大写）

./nginx -V

// 应该显示内容如下：
nginx version: nginx/1.21.0
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC) 
configure arguments: --with-http_stub_status_module

    -4：修改 nginx 配置文件：vim conf/nginx.conf

 35     server {
 36         listen       80;
 37         server_name  localhost;
 38         location /nginx-status {
 39                 stub_status     on;
 40                 access_log      off;
 41     }

    -5：重启 Nginx

./sbin/nginx -s stop
./sbin/nginx

   3）访问，查询 nginx 状态信息：http://192.168.124.11/nginx-status
在这里插入图片描述
   4）结果说明：
    -1：Active connections：表示正在处理等活动连接数。
    -2：server、accepts、handled requests：
在这里插入图片描述
    -3：Reading、Writing、Waiting：
在这里插入图片描述
   5）配置 Nginx Module：
    -1：启用 nginx module

./metricbeat modules enable nginx

    -2：修改 配置文件：module.d/nginx.yml

 10   hosts: ["http://192.168.124.11:80"]
 	//和访问 Nginx 控制台配置路径相同
 13   server_status_path: "nginx-status"

    -3：启动

./metricbeat -e

   6）控制台：
在这里插入图片描述
在这里插入图片描述




十：Kibana 入门（53～57）

Kibana 介绍

   1）官网介绍：https://www.elastic.co/cn/kibana/
在这里插入图片描述
   2）讲义介绍：
    -1：Kibana：是一款开源的数据分析和可视化平台，它是 Elastic stack 成员之一，设计用于和 Elasticseatch 协作。
    -2：您可以使用 Kibana，对 Elasticsearch 索引中的数据，进行搜索、查看、交互等操作。
    -3：也可以很方便的，利用图表、表格以及地图，对数据进行多元化的分析和呈现。

1.：Kibana 配置安装

   1）下载，解压安装包https://artifacts.elastic.co/downloads/kibana/kibana-7.11.0-linux-x86_64.tar.gz

tar -zxvf kibana-7.11.0-linux-x86_64.tar.gz

   2）修改配置文件：vim config/kibana.yml

	//	修改 对外暴露服务的地址
  7 server.host: "192.168.124.11"
  	//	配置 Elasticsearch（6.x版本可能为注释内容）
  	// elasticsearch.url:	"http://192.168.124.11:9200"
 32 elasticsearch.hosts: ["http://192.168.124.11:9200"]

   3）启动：（需要切换非 root 用户）

./bin/kibana

   4）浏览器进行访问：http://192.168.124.11:5601
在这里插入图片描述

2：功能说明：

在这里插入图片描述

3.：Discover：数据探索

   1）首先添加索引信息：
在这里插入图片描述
在这里插入图片描述
   2）刷新 Discover，会出现数据：
在这里插入图片描述

4.：Metricbeat 仪表盘

   1）可以将 Metricbeat 的数据，在 Kibana 中，使用仪表盘方式 展示：
   2）Metricbeat 中的配置操作：
    -1：修改 metricbeat 配置：vim metricbeat.yml

 61 setup.kibana:
 67   host: "192.168.124.11:5601"

    -2：安装 仪表盘 到 Kibana：（要确保 Kibana 处于运行状态）（速度慢）

./metricbeat setup --dashboards

//	安装成功提示
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards

    -3：启动 Metricbeat，使之不断产生数据：

./metricbeat -e
5.1：System 指标仪表盘（Metricbeat）

在这里插入图片描述

5.2：Nginx 指标仪表盘（Metricbeat）

在这里插入图片描述
在这里插入图片描述

6.：Nginx 日志仪表盘（Filebeat）

   1）修改配置文件：vim itcast-nginx.yml

  1 filebeat.inputs:
  2 #- type: log
  3 #  enabled: true
  4 #  paths:
  5 #    - /usr/local/nginx/logs/access.log
  6 #  tags: ["my-nginx"]
  7 setup.template.settings:
  8   index.number_of_shards: 3
  9 output.elasticsearch:
 10   hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]
 11 
 12 filebeat.config.modules:
 13   path: ${path.config}/modules.d/*.yml
 14   reload.enabled: false
 	/* 新增：*/
 15 setup.kibana:
 16   host: "192.168.124.11:5601"

   2）filebeat 安装 仪表盘到 kibana中 （慢）

./filebeat -c itcast-nginx.yml setup

// 响应打印：
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.

Index setup finished.
Loading dashboards (Kibana must be running and reachable)

   3）启动 filebeat：

./filebeat -e -c itcast-nginx.yml

   3）访问 Kibana，查看日志仪表盘：搜索：Filebeat Nginx Overview
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.：自定义图表

   1）在 Kibana 中，也可以进行自定义图表，如制作柱形图。
在这里插入图片描述
在这里插入图片描述

8.：开发者工具（Dev Tools）

在这里插入图片描述




十一：LogStash 入门（58～60）

1.：Logstash 入门 & 简介

   1）简介：
    -1：官网：https://www.elastic.co/cn/logstash/
在这里插入图片描述
   2）用途：输入 -> 处理 -> 输出
在这里插入图片描述
在这里插入图片描述

2.：Logstassh 部署安装 & demo：

   1）检查 JDK 环境，要求 1.8（因为 Logstash 是 java 开发的）

java -version

   2）下载 & 解压安装包：

// 下载：https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
tar -zxvf logstash-7.10.0-linux-x86_64.tar.gz

   3）第一个基本 Logstash 示例演示：启动很慢，java写的，需先启动虚拟机。

./bin/logstash -e 'input { stdin { } } output { stdout {} }'

   4）执行效果如下：输入 hello，输出 json

hello
{
       "message" => "hello",
    "@timestamp" => 2022-02-25T11:04:02.760Z,
          "host" => "localhost",
      "@version" => "1"
}
3.：配置详解：（3 部分）

在这里插入图片描述
   1）input：输入：
    -1：采集各种样式、大小和来源的数据。数据往往以各种各样的形式，或分散、或集中的，存在于很多系统中。
    -2：Logstash 支持各种输入选择。可以在同一时间，从众多常用来源捕捉事件。
    -3：能够以连续的流式传输方式，轻松的从您的日志、指标、Web应用、数据存储，以及各种 AWS 服务采集数据。
在这里插入图片描述
   2）filter：过滤（重要）：对数据进行分割、截取等处理：
    -1：实时解析和转换数据。
    -2：数据从源，传输到存储库的过程中。Logstash 过滤器能够解析各个事件，识别已命名的字段，以构建结构。
    -3：并将它们转换成为通用格式，以便更轻松、跟快速的分析和实现商业价值。
在这里插入图片描述
   3）output：输出
    -1：Logstash 提供众多输出选择，您可以将数据，发送到您指定的地方，并且能够灵活的解锁众多下游用例。
在这里插入图片描述

4.：读取自定义日志 & 解析处理：

   1）说明：
    -1：前面我们通过 Filebeat，读取了 Nginx 的日志，如果是自定义结构的日志，就需要读取处理后，才能使用。
    -2：所以，这个时候就需要使用 Logstash 了。因为 Logstash 有着强大的处理能力，可以应对各种各样的场景。
   2）日志结构：
    -1：可以看到，日志中的内容，是使用“｜”进行分割的，使用，我们在处理时候，也需要对数据做分割处理。
在这里插入图片描述
   3）编写配置文件：vim itcast-pipeline.conf

input {
	file {		读取来源是一个文件
		path => "/itcast/logstash/logs/app.log"		读取这个日志文件
		start_position => "beginning"		从日志文件开头，开始读取
	}
}

filter {	过滤：
	mutate {	
		split => {"message" => "|"}		拿到 message 数据，用 “｜”进行分割
	}
}

output {
	stdout { codec => rubydebug }	标准的控制台输出
}

   4）创建对应的日志文件：

mkdir -p /itcast/logstash/logs/app.log

   5）启动：

./bin/logstash -f itcast-pipeline.conf

   6）追加写日志，到文件：（另一个控制台）

echo "20190-02-02 21:21:21|ERROR|读取文件出错｜参数：ID= 18" ->> app.log

   7）查看效果：（捕获数据，并对字符串进行了分割）
在这里插入图片描述

5.：实战使用：输出到 Elasticsearch：

   1）修改配置文件：vim itcast-pipeline.conf

input {
	file {
		path => "/itcast/logstash/logs/app.log"
		# type => "system"
		start_position => "beginning"
	}
}

filter {	过滤：
	mutate {	
		split => {"message" => "|"}		拿到 message 数据，用 “｜”进行分割
	}
}

output {
	elasticsearch {
		hosts => {"192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"}
	}
}

   2）启动：Logstash

./bin/logstash -f ./itcast-pipeline.conf

   3）写入数据：

echo "20190-02-02 21:21:21|ERROR|读取文件出错｜参数：ID= 18" ->> app.log

   4）查看 Elasticseatch 的 Kibana 控制台 数据：
在这里插入图片描述




十二：Elastic Stack 综合练习 & 总结（61～65）

    下面，我们将前面，学习到的 【Elasticsearch + Logstash + Beats + Kibana】整合起来。做一个综合性的练习。
    目的：就是让学生们，更加深刻的理解 Elastic Stack 的使用。

1.：流程说明：

   1）图示：
在这里插入图片描述
   2）解释：（日志格式、图表、Dashboard 都是自定义的）
    -1：应用 APP 生产日志，用来记录用户的操作：
在这里插入图片描述
    -2：通过 Filebeat 读取日志文件中的内容。并且将内容，发送给 Logstash，原因是需要对内容进行处理。
    -3：Logstash 接收到内容后，进行处理。如分割操作。然后将内容发送到 Elasticsearch 中。
    -4：Kibana 会读取 Elasticsearch 中的数据。并且在 Kibana 中，进行设计 Dashboard，最后进行展示。

2.：APP 介绍：

   1）说明：APP 在生产环境中，应该是真实的系统，然而，我们现在仅是学习，为了简化操作，所以就做数据的模拟生成即可。业务代码如下：

@Data
@RestController
public class test {

    private static final Logger logger = LoggerFactory.getLogger(test.class);

    @RequestMapping(value = "/hhh")
    public void hello() throws InterruptedException {
        while (true) {
            LocalDateTime now = LocalDateTime.now();
            String format = now.format(DateTimeFormatter.ISO_LOCAL_DATE_TIME);
            String result = "开始｜" + format + "｜日志｜" + "｜结束";
            Thread.sleep(2000);
            logger.info(result);
        }
    }
}

   2）将 app 打成 jar 包，放置服务器上并启动：

java -jar xxx.jar 
java -jar xxx.jar &		-- 后台打印生成

   3）查看生成日志文件：
在这里插入图片描述

3.：Filebeat：

   1）修改 Filebeat 配置文件：vim itcast-dashboard.yml

  1 filebeat.inputs:
  2 - type: log
  3   enabled: true
  4   paths:
  5     - /app/testapollo/*.log
  6 setup.template.settings:
  7   index.number_of_shards: 3
  	// 日志输出到 Logstash
  8 output.logstash:
  9   hosts: ["192.168.124.11:5044"]

   2）启动 Filebeat：（需要先启动 Logstash 后）

./filebeat -e -c itcast-dashboard.yml
4.：Logstash：

   1）编辑 Logstash 配置文件：vim itcast-dashboard.conf

// 简单的版本，控制台打印，测试是否联通
//    （logstash 控制台会打印数据）
  1 input {
  2   beats {
  3     port => "5044"
  4   }
  5 }
  6 
  7 filter {
  8   mutate {
  9     split => { "message" => "|" }
 10   }
 11 }
 12 
 13 output {
 14 #  stdout {
 15 #    codec => rubydebug
 16 #  }
 17   elasticsearch {
 18     hosts => [192.168.124.11:9200]
 19   } 
 20 }

在这里插入图片描述
   2）启动 es、Logstash、filebeat：

./bin/logstash -f itcast-dashboard.conf
./filebeat -e -c itcast-dashboard.yml

   3）使用 插件 / kibana，查询保存到 es 的字段：
   4）
   5）
   6）
   7）

5.：Kibana：

    -1：启动 Kibana & 通过浏览器进行访问：

./bin/kibana
http://192.168.124.11:5601

    -2：添加 Logstash 索引，到 Kibana 中。
在这里插入图片描述
在这里插入图片描述
   1）时间间隔的柱形图：
   2）各个操作的饼图分布：
   3）数据表格：
   4）制作 DashBoard：

6.：课程总结：

   1）
    -1：

张老师的分享
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch
Alano1994的博客
03-18 593
前言 apache lucene 全文检索的工具包 索引：提供查询效率 数据库索引： 主键索引、唯一索引（unique）、复合索引（对数据库中的多个字段创建一个索引）、普通索引等 create index 索引名 on table (column1,column2) 全文检索；类似于使用字典过程 对数据预先构建索引，在查找的时通过索引匹配数据的过程就称为全文检索 创建索引： ...
黑马程序员--分布式搜索ElasticSearch学习笔记
qq_33888850的博客
03-29 1346
什么是ElasticSearch？一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能什么是Elastic Stack(ELK)？它是以ElasticSearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API索引库操作有哪些？创建索引名：PUT /{索引库名}查询索引库：GET /{索引库名}
Elasticsearch 学习资料集合
06-06
Elasticsearch 学习资料集合，elasticsearch集成ik分词器详细文档，elasticsearch+hbase整合步骤，Elasticsearch技术解析与实战
ELK Stack入门之部署EFK架构
最新发布
weixin_46546303的博客
07-22 1727
ELK Stack 入门之EFK
Elasticsearch(黑马)
qq_57216731的博客
04-02 1710
​​​​​​​​​​​​​​​​.
数据库入门黑马程序员教材_[黑马程序员]ElasticSearch-入门
weixin_39774682的博客
11-30 448
一．前言Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。Elasticsear...
【笔记】Elasticsearch——黑马程序员（乐优商城）
Jackson00709的博客
05-11 889
基本概念 Elasticsearch是基于Lucene的全文检索库，本质也是存储数据，很多概念与MYSQL类似 对比关系: Elasticsearch MySQL indices（索引库） Databases(数据库) type（类型） Table(数据表) Document（文档） Row(行) Field（字段） Columns(列) 详细说明： 概念 说明 索引库（indices） indices是index的复数，代表许多索引 类型（type） 类
ElasticSearch黑马学习笔记（超详细）搜索引擎ElasticSearch7.x笔记
weixin_43494537的博客
07-02 1160
match和multi_match的区别是什么？match：根据一个字段查询multi_match：根据多个字段查询，参与查询字段越多，查询性能越差query：查询条件from和size：分页条件sort：排序条件highlight：高亮条件查寻有四种；全文查询，精确查询，地理查询，符合查循，其中符合查询包含bool与functions；
2018年下半年黑马程序员课改之后最新Java企业级项目—学成在线学习平台。包含所有的资料和代码
03-27
使用ELK（Elasticsearch、Logstash、Kibana）堆栈进行日志收集和分析，配合Prometheus和Grafana实现系统的性能监控。 通过这个项目，开发者不仅可以学习到Java企业级应用开发的全流程，还能深入理解微服务架构、...
es入门黑马篇加demo
m0_57559751的博客
06-10 299
因为容器在创建时会从镜像中复制粘贴必要的文件和依赖项，构建出自己的运行环境，与镜像本身之间没有关联。当需要创建新的容器时，可以使用现有的镜像作为基础，并在其基础上添加所需的配置和数据，以便启动特定的应用程序或服务。总之，镜像和容器之间的关系是一种依赖关系。但是，如果您删除了正在运行的容器，那么容器内的所有数据和配置都将被删除，并且无法恢复。擅长领域不同的好哥们，如下图，我们在把数据写入到数据库的适合会同步到es的索引库，这样用户就可以搜索。简单来说，容器是镜像的一个运行时实例，镜像则是容器的一个静态模板。
ElasticSearch讲解PPT
11-30
ElasticSearch简称es，es是一个开源的高扩展的分布式全文搜索引擎，它可以近乎实时的存储、检索数据，本身的扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也是用Java开发并使用Lucene作为核心来实现所有索引和搜索的功能，但他的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
Elastic Stack.zip
06-23
Elastic Stack，通常被称为ELK Stack，是三个开源软件的集合，它们分别是Elasticsearch、Logstash和Kibana，以及近年来加入的Beats。这个组合提供了强大的日志管理和数据分析能力，广泛应用于日志分析、监控、安全...
SpringCloud微服务架构笔记-共四部分四个PDF文件
07-04
- 监控与日志：使用Spring Boot Actuator监控服务状态，结合ELK（Elasticsearch、Logstash、Kibana）或Prometheus+Grafana进行日志管理和可视化。 本套笔记全面覆盖了SpringCloud微服务架构的关键知识点，从理论到...
python培训班-Python培训机构_高品质Python线下开发培训班推荐-黑马程序员
q6q6q的专栏
10-28 1371
Python编程基础基础班1课时:15天技术点:97项测验:2次学习方式:线下面授学习目标1.掌握Python开发环境基本配置|2.掌握运算符、表达式、流程控制语句、数组等的使用|3.掌握字符串的基本操作|4.初步建立面向对象的编程思维|5.熟悉异常捕获的基本流程及使用方式|6.掌握类和对象的基本使用方式|7.掌握学生管理系统编写主讲内容1Python基础语法基础语法是编程语言的第一课，打好基础才...
黑马Elasticseach教程学习笔记
CWL_YL的博客
05-21 2259
心血来潮学习一下es, 哔哩哔哩上找了找课程，综合筛选了一下，选择了黑马的视频. 一下是视频过程中，记录的笔记！！！
黑马十次方项目day04-02之ElasticSearch结构说明
Java持续实践
01-20 801
文章目录什么是ElasticSearchElasticSearch特点ElasticSearch体系结构 什么是ElasticSearch Elasticsearch是一个实时的分布式(自身就支持了分布式)搜索和分析引擎。它可以帮助你用前所未有的速 度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分 布式多用户能力的全文搜索引擎，基于RESTful w...
黑马学ElasticSearch（十一）
dengfengling999的博客
01-16 649
MySQL里面有binlog默认是关闭的，一旦开启，每当MySQL做增删改操作，都会将响应的操作记录在binlog当中，只要数据变化了，binlog就会变化，我们可以利用类似canal的中间件监听binlog，一旦发生变化，就会通知对应的微服务。如果现在项目是一个单体的项目，所有的业务都写在一个项目当中，那就非常好办啊我再写新增修改删除的业务时 同时把ES索引库也更新了，但是我们的项目是微服务，不同的业务在不同的微服务上。发送的下次为这个对象的id，不发送这个对象，来减少mq内存的消耗。
ElasticSearch学习资料
hellozhxy的博客
08-27 620
  Elasticsearch 5.4 中文文档 http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260364       Elasticsearch: 权威指南 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html   elas...
黑马程序员elasticsearch
11-03
黑马程序员elasticsearch是指黑马程序员教育机构所提供的一门elasticsearch课程，该课程主要包括elasticsearch的基础知识、安装配置、数据操作、搜索查询、集群部署等内容。在安装elasticsearch时，可以参考以下步骤： 1. 设置elasticsearch的地址，可以使用容器名直接访问elasticsearch，例如：-e ELASTICSEARCH_HOSTS=http://es:9200。 2. 查看elasticsearch的数据卷目录，通过命令docker volume inspect es-plugins来获取plugins目录位置。 3. 安装elasticsearch插件，可以使用elasticsearch-plugin install命令来安装插件，例如：elasticsearch-plugin install analysis-icu。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值