ELK 使用 Filebeat 收集日志

最新推荐文章于 2022-09-15 15:41:39 发布
最新推荐文章于 2022-09-15 15:41:39 发布
阅读量643 收藏 1
点赞数 1
分类专栏： ELK kafka Redis 文章标签： 运维 redis kafka elk filebeat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42606357/article/details/119987004
版权
Redis 同时被 3 个专栏收录
13 篇文章 0 订阅
订阅专栏
ELK
10 篇文章 1 订阅
订阅专栏
kafka
4 篇文章 0 订阅
订阅专栏

一、部署 Filebeat

10.0.0.37 安装 filebeat

apt install -y openjdk-8-jdk

# 将 filebeat-7.12.1-amd64.deb 软件包传到 /usr/local/src 目录下，并进行安装
dpkg -i /usr/local/src/filebeat-7.12.1-amd64.deb

二、Filebeat -> Redis -> Logstash -> ES

2.1 Filebeat 配置：Nginx 日志文件输出到 Redis

root@web1:/usr/local/src# grep -v "#" /etc/filebeat/filebeat.yml | grep -v "^$"
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/syslog
  fields:
    type: syslog
- type: log
  enabled: true
  paths:
    - /apps/nginx/logs/error.log
  fields:
    service: nginx-errorlog
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
#output.elasticsearch:
#  hosts: ["10.0.0.31:9200"]

output.redis:
  host: ["10.0.0.35"]
  passwd: "123456"
  key: "lck-nginx"
  db: 0
  timeout: 5
  
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

# 启动服务
systemctl restart filebeat

2.2 Logstash 配置：从 Redis 拉取到 elasticsearch

root@ubuntu1804:~# vim /etc/logstash/conf.d/redis-to-es.conf
input {
  redis {
    data_type => "list"
    key => "lck-nginx"
    host => "10.0.0.34"
    port => "6379"
    db => "1"
    password => "123456"
    threads => "4"
  }
}

output {
  if [fields][service] == "nginx-errorlog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "filebeat-nginx-errorlog-%{+YYYY.MM.dd}"
    }
  }
  if [fields][type] == "syslog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "filebeat-nginx-syslog-%{+YYYY.MM.dd}"
    }
  }
}

# 重启服务
systemctl restart logstash

三、Filebeat -> Kafka -> Logstash -> ES

3.1 Filebeat 配置：Nginx 日志文件输出到 Kafka

vim /etc/filebeat/filebeat.yml
- type: log
  enabled: true
  paths:
    - /var/log/syslog
  fields:
    type: syslog

- type: log
  enabled: true
  paths:
    - /apps/nginx/logs/error.log
  fields:
    service: nginx-errorlog

- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  fields:
    service: nginx-accesslog

output.kafka
  host: ["10.0.0.40:9092","10.0.0.41:9092","10.0.0.42:9092"]
  topic: '%{[fields.log_topic]}'
  partition.round_robin: 
    reachable_only: false
    required_acks: 1
    compression: gzip
    max_message_bytes: 1000000

# 启动服务
systemctl restart filebeat

3.2 Logstash 配置：从 Kafka 拉取到 elasticsearch

root@ubuntu1804:~# vim /etc/logstash/conf.d/kafka-to-es.conf
input {
  kafka {
    bootstrap_servers => "10.0.0.40:9092,10.0.0.41:9092,10.0.0.42:9092"
    topics => ["lck-nginx-accesslog","lck-nginx-errorlog"]
    codec => "json"
  }
}

output {
  if [fields][service] == "nginx-errorlog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "filebeat-nginx-errorlog-%{+YYYY.MM.dd}"
    }
  }
  if [fields][type] == "syslog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "filebeat-nginx-syslog-%{+YYYY.MM.dd}"
    }
  }
}

四、Filebeat -> Logstash -> Redis -> Logstash -> ES

因为 filebeat 无法处理 JSON 格式的数据，我们利用 logstash 来处理带有 JSON 格式的数据
在这里插入图片描述

4.1 Filebeat 配置：Nginx 日志文件输出到 Logstash

vim /etc/filebeat/filebeat.yml
- type: log
  enabled: true
  paths:
    - /var/log/syslog
  fields:
    type: syslog

- type: log
  enabled: true
  paths:
    - /apps/nginx/logs/error.log
  fields:
    service: nginx-errorlog

- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  fields:
    service: nginx-accesslog

output.logstash
  host: ["10.0.0.36:5044"]

# 启动服务
systemctl restart filebeat

4.2 Logstash配置：将 filebeat 发送过来的数据传输到 Redis

vim /etc/logstash/conf.d/filebeat-to-redis.conf
input {
  beats {
    port => 5044
    codec => "json"
  }
}

output {
  if [fields][type] == "syslog" {
    redis {
      data_type => "list"
      key => "lck-syslog"
      host => "10.0.0.34"
      port => "6379"
      db => "1"
      password => "123456"
    }
  }
  if [fields][service] == "nginx-errorlog" {
    redis {
      data_type => "list"
      key => "lck-nginx-errorlog"
      host => "10.0.0.34"
      port => "6379"
      db => "1"
      password => "123456"
    }
  }
  if [fields][service] == "nginx-accesslog" {
    redis {
      data_type => "list"
      key => "lck-nginx-accesslog"
      host => "10.0.0.34"
      port => "6379"
      db => "1"
      password => "123456"
    }
  }
}

# 检查配置文件语法是否正确
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/filebeat-to-redis.conf -t

# 启动服务
systemctl restart logstash

# 在 Redis 查看数据
redis-cli
select 1

4.3 Logstash配置：将 Redis 数据数据传输到 elasticsearch

root@ubuntu1804:~# vim /etc/logstash/conf.d/redis-to-es.conf
input {
  redis {
    data_type => "list"
    key => "lck-syslog"
    host => "10.0.0.34"
    port => "6379"
    db => "1"
    password => "123456"
    threads => "4"
  }
  redis {
    data_type => "list"
    key => "lck-nginx-accesslog"
    host => "10.0.0.34"
    port => "6379"
    db => "1"
    password => "123456"
    threads => "4"
  }
    redis {
    data_type => "list"
    key => "lck-nginx-errorlog"
    host => "10.0.0.34"
    port => "6379"
    db => "1"
    password => "123456"
    threads => "4"
  }
}

output {
    if [type] == "syslog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "logstash-nginx-syslog-%{+YYYY.MM.dd}"
    }
  }
  if [type] == "nginx-accesslog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "logstash-nginx-accesslog-%{+YYYY.MM.dd}"
    }
  }
  if [type] == "nginx-errorlog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "logstash-nginx-errorlog-%{+YYYY.MM.dd}"
    }
  }
}

# 注意事项：index的字段中，logstash开头表示可以显示客户端IP归属地，在es中地图可以查看

# 检查配置文件语法是否正确
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis-to-es.conf -t

# 启动服务
systemctl restart logstash

五、Filebeat -> Logstash -> Kafka -> Logstash -> ES

在这里插入图片描述

5.1 Filebeat 配置：Nginx 日志文件输出到 Logstash

vim /etc/filebeat/filebeat.yml
- type: log
  enabled: true
  paths:
    - /var/log/syslog
  fields:
    type: syslog

- type: log
  enabled: true
  paths:
    - /apps/nginx/logs/error.log
  fields:
    service: nginx-errorlog

- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  fields:
    service: nginx-accesslog

output.logstash
  hosts: ["10.0.0.36:5044","10.0.0.36:5045"]
  enabled: true
  worker: 1
  compression_level: 3
  loadbalance: true

# 启动服务
systemctl restart filebeat

# 查看服务是否启动
systemctl status filebeat.service

5.2 Logstash配置：将 filebeat 发送过来的数据传输到 Kafka

vim /etc/logstash/conf.d/filebeat-to-kafka.conf
input {
  beats {
    port => 5044
    codec => "json"
  }
}

output {
  if [fields][type] == "syslog" {
    kafka {
      bootstrap_servers => "10.0.0.40:9092,10.0.0.41:9092,10.0.0.42:9092"
      topic_id => "lck-50-syslog"
      codec => "json"
    }
  }
  if [fields][service] == "nginx-errorlog" {
    kafka {
      bootstrap_servers => "10.0.0.40:9092,10.0.0.41:9092,10.0.0.42:9092"
      topic_id => "lck-50-nginx-aerrorlog"
      codec => "json"
    }
  }
  if [fields][service] == "nginx-accesslog" {
    kafka {
      bootstrap_servers => "10.0.0.40:9092,10.0.0.41:9092,10.0.0.42:9092"
      topic_id => "lck-50-nginx-accesslog"
      codec => "json"
    }
  }
}

# 检查配置文件语法是否正确
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/filebeat-to-kafka.conf -t

# 启动服务
systemctl restart logstash

查看kafka是否有数据
在这里插入图片描述

5.3 Logstash配置：将 Kafka 数据数据传输到 elasticsearch

root@ubuntu1804:~# vim /etc/logstash/conf.d/kafka-to-es.conf
input {
  kafka {
    bootstrap_servers => "10.0.0.40:9092,10.0.0.41:9092,10.0.0.42:9092"
    topics => ["lck-50-syslog","lck-50-nginx-errorlog","lck-50-nginx-accesslog"]
    codec => "json"
  }
}

output {
    if [fields][type] == "syslog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "kafka-0901-syslog-%{+YYYY.MM.dd}"
    }
  }
  if [fields][service] == "nginx-accesslog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "kafka-0901-nginx-accesslog-%{+YYYY.MM.dd}"
    }
  }
  if [fields][service] == "nginx-errorlog" {
    elasticsearch {
      hosts => ["10.0.0.31:9200"]
      index => "lkafka-0901-nginx-errorlog-%{+YYYY.MM.dd}"
    }
  }
}

# 注意事项：index的字段中，logstash开头表示可以显示客户端IP归属地，在es中地图可以查看

# 检查配置文件语法是否正确
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/kafka-to-es.conf -t

# 启动服务
systemctl restart logstash

验证数据是否写入 elasticsearch
在这里插入图片描述

LlinCK
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELKF：日志采集filebeat
天然玩家的博客
01-18 1892
- Filebeat正常工作前，需要准备相关依赖：启动Zookeeper、Kafka并创建Topic，当然，filebeat可以开启自动创建Topic； - 数据流向：日志->Filebeat->Kafka； - filebeat配置：输入配置和输出配置，其中，输入配置：配置读取的日志；输出配置：发送数据到指定位置，如Kafka； - 数据传输查看：通过开启Kafka消费者，查看数据是否正常投递。
filebeat-7.12.1-linux-x86_64.tar.gz
09-29
elk配置中重要的一环，好用
Elk+filebeat搭建日志系统1
08-03
1、Filebeat负责收集应用写到磁盘上的日志，并将日志发送给logstash 2、logstash处理来自filebeat的日志，并将处理后的日志保存ela
ELK教程4 - filebeat
u010249118的博客
09-15 1005
ELK教程4 - filebeat， 输出到logstash
ELK集群搭建/K8S集群日志采集
jfcjjg的博客
11-24 3735
部署ELK-7.12.0一、所需的基础环境1、JDK环境2、磁盘配置3、修改操作系统限制二、部署ES 1、创建路径2、修改配置3、启动三、安装es-head三、安装kibana四、安装filebeat 一、所需的基础环境 部署包 提取码：anmc 1、JDK环境 对应版本对应支持的JDK环境也有所差异，但基本都支持JDK1.8 三台机器都需要执行 [root@node1 /]# mkdir /home/apps [root@node1 /]# cd /home/apps [root@node1 apps]#
日志收集处理服务框架：ELK + Filebeat
Allan_shore_ma的博客
01-19 1983
日志收集处理服务框架：ELK + Filebeat 一、需求：压测数据分析和反馈 说明：因为在压测产生异常数据时，需要手动登录到压测机上分析日志比较麻烦（压测服务器因业务需求可能到达10+台）；所以搭建平台，为了快速搜索日志并跟开发沟通解决问题。 二、官方框架 filebeat 在服务节点上收集日志信息 docker 运行 ELK 服务 用户通过 Kibana Web 页面访问日志服务器: http://ip:5601 三、配置环境 ELK 服务器： $ docker-compose up -d
ELK+Filebeat日志收集分析
潘顾昌的博客
06-04 1644
文章目录1.什么是ELK2.ELK架构3.为什么采用ELK架构4.环境准备ES的配置方式ES的节点5.单实例方式部署ELK6. 集群部署ELK6.1 不区分集群中的节点角色6.2 区分集群中节点角色7.使用Filebeat监控收集容器日志8.统一部署1.安装elasticsearch2.安装elasticsearch-head3.logstash4.kibana5.filebeat 作者 邮箱 时间 潘顾昌 [email protected] 2020/01/29 1.
Filebeat部署+Kafka接收消息
qq_43499416的博客
08-18 2347
单机版filebeat搭建，Filebeat部署+Kafka接收消息
ELK之filebeat收集多类型日志
weixin_30325071的博客
02-10 240
1.IP规划 10.0.0.33:filebeat+tomcat,filebeat收集系统日志、tomcat日志发送到logstash 10.0.0.32:logstash,将日志写入reids(input、output) 10.0.0.31:redis,大量缓存数据 10.0.0.30:logstash,从redis取出数据写入es(input、output) 10.0.0.29:es...
ELK Filebeat采集日志推送到Logstash
小楼一夜听春雨，深巷明朝卖杏花
01-05 5488
Filebeat介绍 Filebeat是一个轻量级的日志采集器，将采集的数据推送到Logstash、ES存储。 logstash是可以日志采集，但是资源消耗比较大，其主要功能是日志的过滤以及格式化的输出，也就是独立作为日志格式化输出的。使用filebeat是代替其采集功能，消耗的资源小，哪台机器需要日志采集就部署filebeat。 filebeat.config.modules: filebeat里面内置了一些模块，这些模块可以对特定的软件进行采集，像nginx mysql这些 可以使用其对应的
ELK7.1.1+FileBeat 收集日志.pdf
07-22
基础ElasticSearch7.1.1版本搭建日志收集框架；采用FileBeat采集log日志，通过logstash过滤后导入ES
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
ELK+FileBeat+Kafka分布式系统搭建图文教程.pdf
06-15
2.使用kafka集群做缓存层，而不是直接将filebeat收集到的日志信息写入logstash，让整体结构更健壮，减少网络环境，导致数据丢失。filebeat负责将收集到的数据写入kafka，logstash取出数据并处理。
ELK日志收集系统.docx
01-16
1、文档详细介绍了下面三种日志架构的优缺点 ...对于收集的日志信息如果能提前在系统应用日志层面做优化处理（比如json格式化，日志分类）也可以大大提升ELK系统的吞吐能力。减少logstash日志过滤的压力。
Redis 主从配置
LCK 博客
07-15 3357
主备模式，可以实现Redis数据的跨主机备份。 程序端连接到高可用负载的VIP，然后连接到负载服务器设置的Redis后端real server，此模式不需要在程序里面配置Redis服务器的真实IP地址，当后期Redis服务器IP地址发生变更只需要更改redis 相应的后端real server即可，可避免更改程序中的IP地址设置。 拓扑： 配置环境：master IP 10.0.0.31 slave IP 10.0.0.32 一、配置Redis主从注意事项 1、Redis Slave 也需要开启RDB持久
Redis 哨兵配置
LCK 博客
07-15 876
哨兵主要解决master和slave角色的无缝切换，让业务无感知从而不影响业务使用。 Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用。 哨兵(Sentinel) 是一个分布式系统，可以在一个架构中运行多个哨兵(sentinel) 进程，这些进程使用流言协议(gossip protocols)来接收关于Master主服务器是否下线的信息，并使用投票协议(Agreement Pr
缓存的概念
LCK 博客
07-03 672
一、系统缓存 1.1 buffer 与 cache buffer：缓冲也叫写缓冲，一般用于写操作，可以将数据先写入内存中的buffer再写入磁盘，用于解决不同介质的速度不一致的缓冲，先将数据临时写入到里自己最近的地方，以提高写入速度，CPU会把数据先写到内存的磁盘缓冲区，然后就认为数据已经写入完成看，然后由内核在后续的时间在写入磁盘，所以服务器突然断电会丢失内存中的部分数据。 cache：缓存也叫读缓存，一般用于读操作，内存将CPU需要频繁读取的数据放在cache缓存，下次CPU读取的时候即可快速读取。 1
Redis Cluster 部署
LCK 博客
07-16 645
早期Redis分布式集群的部署方案： 客户端分区：由客户端程序决定key写分配和写入的redis node，但是需要客户端自己处理写入分配、高可用管理和 故障转移等 代理方案：基于三方软件实现redis proxy，客户端先连接之代理层，由代理层实现key的写入分配，对客户端来说 是有比较简单，但是对于集群管节点增减相对比较麻烦，而且代理本身也是单点和性能瓶颈。 哨兵主要解决了主从切换问题，但是还存在redis单机写入的瓶颈问题。 此redis官方在redis 3.0版本之后推出了无中心架构的redis
docker elk + filebeat
最新发布
08-27
Docker ELK是指使用Docker容器化技术搭建的ELK（Elasticsearch、Logstash和Kibana）日志分析平台。其中，Filebeat是ELK中的一个组件，用于收集和传输日志数据。 在使用Docker ELK搭建平台时，你可以通过执行命令"Docker run"来启动Filebeat容器。启动命令示例如下： ``` docker run -d -u root --name filebeat --net somenetwork -v /var/log/logapp:/var/log/logapp:rw -v /mydata/docker/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro elastic/filebeat:7.16.1 ``` 这个命令会在Docker中启动一个名为"filebeat"的容器，并将日志文件夹和配置文件夹挂载到容器中。 如果需要启动多个Filebeat容器，只需要指定不同的外挂地址即可，这样可以保持架构图的一致性。示例命令如下： ``` docker run -d --network elk-net --ip 172.22.1.5 --name=filebeat -v /mydata/filebeat/log/:/usr/share/filebeat/logs -v /mydata/filebeat/config/filebeat.yml:/usr/share/filebeat/filebeat.yml docker.elastic.co/beats/filebeat:7.4.2 ``` 这个命令会在Docker中启动一个名为"filebeat"的容器，并将日志文件夹和配置文件夹挂载到容器中。 要导入日志进行测试，你可以创建一个Filebeat配置文件filebeat.yml。可以使用以下命令创建配置文件： ``` touch /mydata/filebeat/config/filebeat.yml ``` 这个命令会在指定路径下创建一个名为filebeat.yml的配置文件。然后，你可以根据需要进行相应的配置，包括指定日志路径、过滤条件等。 综上所述，Docker ELK中的Filebeat是用于收集和传输日志数据的组件，在搭建平台时需要执行相应的启动命令，并可以通过创建配置文件来进行必要的配置。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [docker安装elk + filebeat（版本：7.16.1）](https://blog.csdn.net/paidaxinga_/article/details/122210062)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [docker搭建elk+filebeat](https://blog.csdn.net/qq_31745863/article/details/129986232)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值