ELK日志收集系统（二）

最新推荐文章于 2023-05-02 23:34:49 发布
最新推荐文章于 2023-05-02 23:34:49 发布
阅读量421 收藏
点赞数
分类专栏： Linux运维 文章标签： ELK日志收集 filebeat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pcn01/article/details/105047389
版权

ELK日志收集系统（二）

十一：filebeat模块

注意：通过filebeat模块来收集日志，只能发送给ES，不支持发送给如redis

[root@node01 ~]# rpm -qc filebeat
/etc/filebeat/filebeat.yml
/etc/filebeat/modules.d/apache2.yml.disabled
.................................

filebeat与模块相关的配置：

# 配置文件中没有下面这几项配置，执行 filebeat modules list 会报错
[root@node01 filebeat]# cat filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s

查看启动与禁用的相关模块：

[root@node01 filebeat]# filebeat modules list
Enabled:

Disabled:
apache2
...........

激活nginx模块：

filebeat modules enable nginx		# 其实就是把模块文件名中的.disabled给去掉了

前面我们将nginx的日志修改为JSON格式了，下面将nginx的日志修改为main模式

[root@node01 ~]# grep access_log /etc/nginx/nginx.conf
    access_log  /var/log/nginx/access.log  main;

然后重启nginx，访问nginx让其产生新的日志，查看nginx的日志格式
修改nginx模块配置文件：

[root@node01 ~]# grep -Ev '#|^$' /etc/filebeat/modules.d/nginx.yml
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log"]
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log"]

filebeat配置文件：

[root@node01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s
setup.kibana:
  host: "172.17.2.239:5601"
output.elasticsearch:
  hosts: ["172.17.2.239:9200"]

nginx模块的使用还需要安装两个插件：

# 在线安装
[root@node01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-user-agent
[root@node01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-geoip
# 安装ingest-geoip插件时会有一个警告，直接输入y回车即可

# 离线下载安装
[root@node01 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-user-agent/ingest-user-agent-6.6.0.zip
[root@node01 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-geoip/ingest-geoip-6.6.0.zip
[root@node01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///root/ingest-geoip-6.6.0.zip 
[root@node01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///root/ingest-user-agent-6.6.0.zip

安装完成后重启filebeat
安装两个插件后，ELK收集日志的整体流程如下图：
ELK日志收集系统（二）
将nginx日志的访问与错误日志分开收集的filebeat配置文件：

[root@node01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s
setup.kibana:
  host: "172.17.2.239:5601"
output.elasticsearch:
  hosts: ["172.17.2.239:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

systemctl restart elasticsearch
systemctl restart filebeat

重启后es-head页面就会出现nginx相关的索引， 如图
ELK日志收集系统（二）
在kibana中创建nginx错误日志时，注意下面的选择：
ELK日志收集系统（二）

十二：filebeat画图

filebeat配置文件：

[root@node01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]
setup.kibana:
  host: "172.17.2.239:5601"
output.elasticsearch:
  hosts: ["172.17.2.239:9200"]
  indices:
    - index: "nginx_access-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "access"
    - index: "nginx_error-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

将nginx日志修改为JSON格式，然后制造一些nginx访问日志：

[root@node01 filebeat]# for i in {0..10};do curl -I http://172.17.2.239/login.html; done

画图步骤，下面看图：
ELK日志收集系统（二）
ELK日志收集系统（二）
ELK日志收集系统（二）
ELK日志收集系统
ELK日志收集系统
IP地址显示是竖的，调整为横的：
ELK日志收集系统
保存图形：
ELK日志收集系统
画饼状图：
ELK日志收集系统
画数据图：
ELK日志收集系统

十三：使用redis作为缓存收集日志

13.1 启动redis容器

使用redis作为缓存收集日志
这样做的好处是logstash, es都挂掉了，但数据依然保存在redis中，无论何时启动logstash数据依然从redis中读取。
注意：filebeat只支持将数据传送到redis单节点，不支持redis集群

# 启动一个redis容器，该机器IP为：172.17.2.117
docker run -d --name redis \
-h redis \
-p 10009:6379 \
-v /data/redis_docker/data:/data \
redis:latest --appendonly yes --port 6379 --requirepass "test"

13.2 filebeat配置

filebeat配置文件：

[root@node01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "172.17.2.239:5601"

output.redis:
  hosts: ["172.17.2.117:10009"]
  password: "test"
  key: "filebeat"
  db: 0
  timeout: 5
  keys:
    - key: "nginx_access"
      when.contains:
        tags: "access"
    - key: "nginx_error"
      when.contains:
        tags: "error"

重启filebeat，制造一些nginx访问日志。如果正常，redis中会有记录
使用redis作为缓存收集日志

13.3 logstash安装与配置

yum localinstall -y logstash-6.6.0.rpm

logstash配置文件：

[root@node01 tools]# cat /etc/logstash/conf.d/redis.conf
input {
  redis {
    host => "172.17.2.117"
    port => "10009"
    password => "test"
    db => "0"
    key => "nginx_access"
    data_type => "list"
  }
  redis {
    host => "172.17.2.117"
    port => "10009"
    password => "test"
    db => "0"
    key => "nginx_error"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
    stdout {}
    if "access" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM.dd}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM.dd}"
      }
    }
}

前台启动logstash：

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

13.4 配置文件优化

上面的filebeat配置将收集到的日志写入到两个key中；logstash从redis中读取不同的key
ELK日志收集系统
filebeat收集日志写入到一个key中：

[root@node01 ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "172.17.2.239:5601"

output.redis:
  hosts: ["172.17.2.117:10009"]
  password: "test"
  key: "nginx"
  db: 0
  timeout: 5

logstash根据tag区分一个key里的不同日志：

[root@node01 ~]# cat /etc/logstash/conf.d/redis.conf
input {
  redis {
    host => "172.17.2.117"
    port => "10009"
    password => "test"
    db => "0"
    key => "nginx"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
    stdout {}
    if "access" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM.dd}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM.dd}"
      }
    }
}

十四：kibana的x-pack监控

kibana的x-pack监控

琴酒网络
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK日志收集系统完全实现
01-27
ELK（Elasticsearch, Logstash, Kibana）日志收集系统是一种广泛使用的日志管理和分析解决方案。它能够高效地收集、解析、存储和展示应用程序及系统的日志数据，帮助运维人员监控系统状态，排查问题，进行数据分析。...
快速搭建ELK日志分析系统
01-27
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可...
常用 Elasticsearch 工具与插件
最新发布
BXA
05-02 3726
Elasticsearch 是一个强大的搜索引擎工具，能够支持海量数据的存储和快速检索具有多种适用场景且在不断改进和发展中 作为 Elasticsearch 的扩展体系组成部分工具和插件的使用能够帮助用户更好地实现全文搜索 日志管理实时监控等功能
Filebeat 日志收集工具配置实践
zhangxm_qz的博客
06-29 2267
文章目录Filebeat介绍Filebeat工作原理部署与运行解压安装包配置运行读取文件自定义字段输出到Elasticsearch读取Nginx日志文件Module使用Module启用Nginx Module配置 Filebeat介绍 Filebeat是一个轻量型日志采集器，可以方便的同kibana集成，启动filebeat后，可以直接在kibana中观看对日志文件进行detail的过程。结合搜索功能可以查看某个程序、某个服务器 在某段时间的日志情况。 Filebeat工作原理 Filebeat由两个主要组
ELK之elasticsearch插件导致filebeat没有上传日志至elasticsearch解决办法
abtmh02622的专栏
06-06 714
　　使用filebeat收集nginx发现日志为上传，elasticsearch没有日志，kibana没有展示 　　查看filebeat日志 　　日志目录为/var/log/filebeat 下面有多个日志文件，如果在日志文件filebeat没有发现报错信息可以查看 filebeat.1 2 3 4 5 6 7等，发现日志报错如下 2019-06-06T10:43:23.77...
Nginx日志分析系统——Elastic Stack的系列产品的使用
不愿意做鱼的小鲸鱼の博客
04-18 849
目录1、Nginx日志分析系统1.1、项目需求2、部署安装Nginx3、Beats 简介4、Filebeat4.1、架构4.2、部署与运行4.3、读取文件4.4、自定义字段4.5、输出到Elasticsearch4.6、Filebeat工作原理4.7、读取Nginx日志文件4.7、Module4.7.1、nginx module 配置4.7.2、配置filebeat4.7.3、测试4.7.4、启动...
ELK安装
dengtanli9375的博客
07-11 225
官方elk介绍地址：​https://demo.elastic.co 具体图解： 提前准备 yum install java-1.8.0-openjdk.x86_64 -y yum install nodejs npm openssl screen -y elasticserarch的用法 es-head相关说明： No...
ELK日志收集系统.docx
01-16
总结来说，ELK日志收集系统是一个强大的日志管理和分析工具，它提供了从收集、传输、存储到分析的全套解决方案，帮助企业或组织有效地管理和理解其系统的日志数据。通过优化配置和合理选择架构，可以应对大规模数据...
ELK日志收集系统操作手册.docx
03-03
ELK日志收集系统操作手册 ELK(日志收集系统)是三个开源软件的缩写，分别表示Elasticsearch、Logstash、Kibana，它们都是开源软件。下面是对ELK日志收集系统操作手册的详细介绍： 一、ELK简介 Elasticsearch是开源...
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
ingest-geoip-6.5.4.zip
12-26
ingest-geoip-6.5.4.zip 资源，可以直接安装，使用 es-plugs下载比较慢还比较容易出现hash比对错误问题
go-elk-stack:Elasticsearch-Logstash-Kibana-Golang
05-18
麋鹿堆栈 :french_fries: 这个简单的项目演示了Elasticsearch-Logstash-Kibina（ELK）与Golang的集成 去栈 没有Web框架，使用本机运行 DEP的包管理brew install dep 杜松子酒进行实时重新加载， go get github.com/codegangsta/gin 通过docker-compose运行ELK docker-compose up 港口 :9200 = elasticsearch :5000 = logstash :5601 = kibana 您可以通过打开kibana仪表板 安装依赖项 dep ensure 添加新的依赖 go get -u -v < dependency> or dep ensure --add < dependency> 运行应用 go run main.go 实时重新加载运行应用 gin main.go
ELK6.1.2,filebeat及es的常用head和ik插件
04-03
ELK6.1.2,filebeat及es的常用head和ik插件，ELK6.1.2,filebeat及es的常用head和ik插件
ingest-geoip-6.6.0.zip
07-20
geoip主要用于kibana绘制地理区域图时使用，原理就是通过一个IP库，根据IP直接获取对应的地理坐标等信息，从而在地图上进行展示。
【elasticSearch学习与实践】elastic stack环境搭建(7.3)
u011521890的专栏
10-04 685
elastic stack的介绍 在elastic架构下面有：elasticsearch、kibana、logstash（俗称ELK）和beats。 他们的介绍依次如下： 我对elastic stack的理解 图片来自网络 elasticsearch是一个分布式搜索引擎，通过指定的_index可以快速搜索到需要的内容。通常用于日志搜索和电商商品搜索等大数据搜索。 它的优点： 支持re...
filebeat使用modules模板收集nginx日志（十）
江晓龙的博客
06-30 2498
filebeat使用modules收集nginx日志 1.为什么要使用modules收集日志 modules只是filebeat的一个小功能，由于像mysql、redis等这种日志无发输出成json格式，filebeat无法将收集来的普通日志转换为json格式，从而进行细致的统计 logstash可以做到将普通日志转换成json格式，但是配置十分复杂，且容易出错 介于种种不便，elk官方推出了filebeat modules模块功能，将常用服务的日志转换做成了模板，只需要启动模板，配置日志路径即可将普通文
Beats — Filebeat 基础操作
北海牧野
07-13 2874
ElasticStack—Beats定义一、ElasticStack 的组成二、Beats 组件FileBeat 日志采集二、 Filebeat 工作原理三、启动命令四、部署和运行1、output.console 通过终端获取到数据2、输出 到 output.ElasicSearch3、读取 Nginx 日志文件4、Module 内置模块采集Nginx内置Module 启动nginx，禁用nginx配置 Module -- Nginx 配置文件配置 filebeatModules - Nginx - 日志仪
Filebeat 模块与配置
weixin_34375233的博客
08-20 379
续 • 《开始使用Filebeat》 1.  关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或 Logstash，在 Kibana 中实...
ELK系列(八)、使用Filebeat+Redis+Logstash收集日志数据
王义凯 的博客
05-25 4316
前面提到过，logstash占资源很大，filebeat更加轻量，一般都是组合使用，难免会有logstash宕掉的时候，这时候filebeat再往logstash里写数据就写不了了，这期间的日志信息可能就无法采集到了，因此一般都会采用redis或kafka作为一个消息缓冲层，本篇就介绍如何使用Redis作为数据缓冲层，将filebeat的数据落地到Redis中然后由Logstash消费并写入至ES。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.
"ELK日志收集系统操作手册：详解ELK组件使用方式，实现高性能日志抽取和分析
ELK日志收集系统操作手册详细讲解了ELK组件的使用方式。ELK是三个开源软件的缩写，分别代表Elasticsearch、Logstash和Kibana，它们都是开源软件。Elasticsearch是一个开源的分布式搜索引擎，提供搜集、分析和存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值