ELK+FileBeat安装使用详解（filebeat配置多行合并、发向多个logstash、ssl加密、字段添加、运行日志、压缩、限制内存、注册服务等）#

最新推荐文章于 2024-05-18 08:00:00 发布
最新推荐文章于 2024-05-18 08:00:00 发布
阅读量2.6k 收藏 7
点赞数 2
分类专栏： 日志 文章标签： centos linux elasticsearch ssl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44396516/article/details/107980697
版权

目录

1.环境准备：

1.1测试机PC1
IP:192.168.1.99
服务器环境：Linux Centos 6.10
Java环境：java 1.7
安装：filebeat
lsb_release -a
在这里插入图片描述

Java -version
在这里插入图片描述

1.2测试级PC2：
IP:192.168.1.120
服务器环境：win7
Java环境：java 1.11
安装：ElasticSearch + Logstash + Kibana

2.ElasticSearch

2.1下载-解压
https://www.elastic.co/cn/elasticsearch/

2.2运行：/bin/ElasticSearch.bat

3.Logstash

在这里插入图片描述

3.1下载-解压
https://www.elastic.co/cn/downloads/logstash

3.2新建conf脚本
/bin/conf/test.conf
在这里插入图片描述

3.3运行：/bin中打开命令行
logstash -f conf/test.conf

4.Kibana
4.1.下载-解压
https://www.elastic.co/cn/downloads/kibana

4.2.运行：/bin/Kibana.bat

4.3.浏览器打开http://127.0.0.1:5601

4.4.Management-Index Patterns-Create index pattern-索引模式名：test -Next step-Time Filter field name下拉菜单中选择@timestamp-Create index pattern
在这里插入图片描述
在这里插入图片描述

4.5.索引创建完成后点击discover
在这里插入图片描述

5.Filebeat

5.1下载
https://www.elastic.co/cn/downloads/beats/filebeat

5.2解压: tar xvf filebeat.tar.gz -C /opt

5.3 [root@infosec ]#Cd /opt/filebeat

5.4配置/opt/filebeat/filebeat.yml
ps:下面有完整配置可参考

设置权限：
[root@infosec filebeat]# chmod go-w /opt/filebeat/filebeat.yml

5.5测试
测试配置：[root@infosec filebeat]# /opt/filebeat/./filebeat test config
测试连接：[root@infosec filebeat]# /opt/filebeat/./filebeat test output

5.6运行：[root@infosec filebeat]# /opt/filebeat/./filebeat -e -c filebeat.yml

后台启动：nohup /opt/filebeat/./filebeat -e -c filebeat.yml >/opt/filebeat/logs/filebeat.log &

查看进程： ps -e | grep filebeat

Filebeat其他配置

filebeat完整配置：

往下翻有具体介绍

filebeat.inputs:
- type: log  
  enabled: true
  paths:
    - /home/test/log/test.log
  fields:
    sn: 123
   multiline.pattern: '^[I,]|^[D,]|^[E,]|^[W,]|^[#]'
   multiline.negate: true
   multiline.match: after
   multiline.max_lines: 50
   multiline.timeout: 10s
output.logstash:
  hosts: ["127.0.0.1:5050"]
  ssl.certificate_authorities:  ["logstash端传来的证书所在位置"]
  ssl.certificate: "本端生成的证书所在的位置"
  ssl.key: "本端生成的密钥所在的位置"
  compression_level: 5
  bulk_max_size: 2048
  timeout: 20
queue.mem:
  events: 2048
  flush.min_events: 1024
  flush.timeout: 5s
max_procs: 1
  
logging.level: info
logging.to_files: true
logging.files:
  path: /home/filebeat/logs
  name: filebeat
  keepfiles: 7
  permissions: 0644

多行合并

filebeat.inputs下

multiline.pattern: '^[I,]|^[D,]|^[E,]|^[W,]|^[#]'
multiline.negate: true
multiline.match: after
multiline.max_lines: 50
multiline.timeout: 10s

解释：
不以I,或D,或E,或W,或#开头的合并到上一行末尾，最多50行，超过10秒直接发送
pattern：正则表达式
negate：true 或 false；默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行合并到上一行
match：after 或 before，合并到上一行的末尾或开头
问题：多行匹配占用大量cpu

日志字段添加

filebeat.inputs下

  fields:
    sn: 123

发送的日志都会带上此字段

压缩

output.logstash下

compression_level: 5

压缩等级5，效果：10倍压缩

filebeat运行日志

logging.level: info
logging.to_files: true
logging.files:
  path: /opt/filebeat/logs
  name: filebeat
  keepfiles: 7
  permissions: 0644

限制内存

queue.mem:
  events: 2048
  flush.min_events: 1024
  flush.timeout: 5s

其中queue.mem.events要等于output.logstash.bulk_max_size
queue.mem.flush.min_events是queue.mem.events的一半

发向多个logstash

方案一：

output.logstash:
  hosts: ["192.168.0.11:5044","192.168.0.22:5044"]
  loadbalance: true

#loadbalance: true开启负载平衡技术
结果：无用，被负载均衡

方案二：
启动两个filebeat.yml分别发向不同的hosts

filebeat.yml输出配置:

output.logstash:
  hosts: ["192.168.0.11:5044"]

启动：nohup /home/filebeat/./filebeat -c /home/filebeat/filebeat.yml >/dev/null 2>&1 &

filebeat1.yml输出配置:

output.logstash:
  hosts: ["192.168.0.22:5044"]

启动：nohup /home/filebeat/./filebeat -c /home/filebeat/filebeat1.yml -path.data /home/filebeat/data2/ -path.logs /home/filebeat/logs2/ >/dev/null 2>&1 &

结果：成功

filebeat->>logstash通过ssl加密

filebeat端
1、配置openssl.cnf文件
在[ v3_ca ]下面加入
subjectAltName = IP:本机的IP

2、配置证书和密钥
mkdir -p pki/tls/certs
mkdir -p pki/tls/private
openssl req -subj ‘/CN=YOURIP/’ -x509 -days $((100 * 365)) -batch -nodes -newkey rsa:2048 -keyout pki/tls/private/filebeat.key -out pki/tls/certs/filebeat.crt

3、将生成的证书和密钥copy到logstash端生成的证书和密钥的文件夹内

4、配置filebeat.yml文件

 ssl.certificate_authorities:  ["logstash端传来的证书所在位置"]
     ssl.certificate: "本端生成的证书所在的位置"
     ssl.key: "本端生成的密钥所在的位置"

logstash端
1、配置openssl.cnf文件
在[ v3_ca ]下面加入
subjectAltName = IP:本机的IP

2、配置证书和密钥
mkdir -p pki/tls/certs
mkdir -p pki/tls/private
openssl req -subj ‘/CN=YOURIP/’ -x509 -days $((100 * 365)) -batch -nodes -newkey rsa:2048 -keyout pki/tls/private/logstash.key -out pki/tls/certs/logstash.crt

3、将生成的证书和密钥copy到filebeat端生成的证书和密钥的文件夹内

4、修改logstash的配置文件

       ssl => true
       ssl_certificate_authorities => ["filebeat端传来的证书所在位置"]
       ssl_certificate => "本端生成的证书所在的位置"
       ssl_key => "/本端生成的密钥所在的位置"
       ssl_verify_mode => "force_peer"

解释：
ssl_verify_mode：none不验证、peer若客户端有证书则验证、force_peer强制验证，客户端无证书则关闭连接

此配置针对于没有域名的主机，如果有域名则省略第一步，不需要在openssl.cnf加入ip，但如果您没有域名，只能使用ip的话，就必须采取一下配置

Ssl测试

1.客户端ssl传输，服务端ssl_verify_mode => “none”
结果：接收成功
2.客户端ssl传输，服务端强制验证，不配filebeat端证书
ssl_verify_mode => “force_peer”
结果：接收失败

3.客户端ssl传输，服务端强制验证并配非filebeat端证书
ssl_verify_mode => “force_peer”
ssl_certificate_authorities => [“D:/software/ELK/logstash-7.7.1/zy_svrcert.pem”]

结果：验证失败
4.客户端ssl传输，服务端强制验证并配filebeat端证书
ssl_verify_mode => “force_peer”
ssl_certificate_authorities => [“D:/software/ELK/logstash-7.7.1/zy_cli_1_cert.pem”]
结果：接收成功

断网测试

Filebeat监控测试日志：每行4MB,共10行
1.不断网
结果：接收成功
2.不断网，logstash关闭
结果：filebeat端cpu内存急剧降低
3.断网
结果：filebeat会在运行日志中记录下已发出去的行，联网后从此行继续发

注册服务filebeat

cp /root/machine/install/filebeat /etc/init.d/filebeat
chmod +x /etc/init.d/filebeat
chkconfig --add filebeat
chkconfig --list filebeat

文件：filebeat：

#!/bin/sh
current_user=$(whoami)
user=${current_user:0:7}
case "$1" in
  start)
 	nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat.yml   >/dev/null 2>&1 &
  nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat1.yml -path.data /home/filebeat/data2/ -path.logs /home/filebeat/logs2/  >/dev/null 2>&1 &
	;;
  start1)
  PID=$(ps -ef | grep filebeat.yml | grep $user | grep -v "grep" | awk '{print $2}')
  if [ -z "$PID" ] ;then
        echo "start filebeat.yml"
        nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat.yml   >/dev/null 2>&1 &
  else
        echo "filebeat.yml is running"
  fi
	;;
  stop1)
  PID=$(ps -ef | grep filebeat.yml | grep $user | grep -v "grep" | awk '{print $2}')
	if [ -z "$PID" ] ;then
        echo "filebeat.yml is not running"
  else
        echo "stop filebeat.yml"
        kill -9 $PID
  fi
	;;
  restart1)
  PID=$(ps -ef | grep filebeat.yml | grep $user | grep -v "grep" | awk '{print $2}')
  if [ -z "$PID" ] ;then
        echo "start filebeat.yml"
        nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat.yml   >/dev/null 2>&1 &
  else
        echo "stop filebeat.yml"
        kill -9 $PID
        echo "start filebeat.yml"
        nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat.yml   >/dev/null 2>&1 &
  fi
	;;
  check1)
  PID=$(ps -ef | grep filebeat.yml | grep $user | grep -v "grep" | awk '{print $2}')
	if [ -z "$PID" ] ;then
        echo "filebeat.yml is not running"
  else
        echo "filebeat.yml is running"
  fi
	;;
  start2)
  PID=$(ps -ef | grep filebeat1.yml | grep $user | grep -v "grep" | awk '{print $2}')
  if [ -z "$PID" ] ;then
        echo "start filebeat1.yml"
        nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat1.yml -path.data /home/filebeat/data2/ -path.logs /home/filebeat/logs2/  >/dev/null 2>&1 &
  else
        echo "filebeat1.yml is running"
  fi
	;;
  stop2)
  PID=$(ps -ef | grep filebeat1.yml | grep $user | grep -v "grep" | awk '{print $2}')
	if [ -z "$PID" ] ;then
        echo "filebeat1.yml is not running"
  else
        echo "stop filebeat1.yml"
        kill -9 $PID
  fi
	;;
  restart2)
  PID=$(ps -ef | grep filebeat1.yml | grep $user | grep -v "grep" | awk '{print $2}')
  if [ -z "$PID" ] ;then
        echo "start filebeat1.yml"
        nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat1.yml -path.data /home/filebeat/data2/ -path.logs /home/filebeat/logs2/  >/dev/null 2>&1 &
  else
        echo "stop filebeat1.yml"
        kill -9 $PID
        echo "start filebeat1.yml"
        nohup /home/filebeat/./filebeat  -c /home/filebeat/filebeat1.yml -path.data /home/filebeat/data2/ -path.logs /home/filebeat/logs2/  >/dev/null 2>&1 &
  fi
	;;
  check2)
  PID=$(ps -ef | grep filebeat1.yml | grep $user | grep -v "grep" | awk '{print $2}')
	if [ -z "$PID" ] ;then
        echo "filebeat1.yml is not running"
  else
        echo "filebeat1.yml is running"
  fi
	;;
  *)
	echo $"Usage: $0 {start|start1|stop1|restart1|start2|stop2|restart2|check1|check2}"
esac

拆分日志

可在filebeat.yml中配置，此处为笔者不知道可配的情况下使用
制作定时任务
*/5 * * * * /home/machine/filebeat/filebeat_task.sh

filebeat_task.sh：

this_path="/home/filebeat/logs"
cd $this_path  
echo $this_path  
current_date=`date -d "-1 day" "+%Y%m%d"`  
echo $current_date  
split -b 100k -d -a 4 this_path/filebeat.log   this_path/filebeat.log_${current_date}_  
  
cat /dev/null > nohup.out

踩坑：

loadbalance: true

负载平衡，只往一个地址发。。。发给189就不发给240，发给240就不发给189
解决：开启两个filebeat

提醒：

启动顺序：PC2：ElasticSearch-Logstash-Kibana-PC1:Filebeat

右拐~
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK之Filebeat输出日志格式设置及输出字段过滤和修改
一掬净土
01-15 1579
ELK之Filebeat输出日志格式设置及输出字段过滤和修改
filebeat.tar.gz
10-22
filebeat6.3.1 ,并进行了配置，在单机架构中正常运行，。。
ELK+filebeat(7.17.1)实现应用无侵入日志管理，所有配置和详细安装步骤
05-07
使用filebeat对各个项目进行日志采集，不需要对项目本身进行修改
K8s 搭建 FileBeat+ELK 分布式日志收集系统 以及 KQL 语法介绍
最新发布
小毕超博客
05-18 1070
Filebeat 是一个轻量级的日志传输工具，它负责收集日志数据并将其传输到Elasticsearch进行索引和存储。ELK是Elasticsearch、Logstash和Kibana三个开源项目的首字母缩写，它们共同构成了一个强大的日志管理和分析平台。
filebeat配置文件的编写
神镖
10-27 466
filebeat.inputs: # 输入 - type: log # 类型 enabled: true paths: # 路径 - C:\web\api.aduerpay.test.aduer.com\Log1\Info\*\Monitor_* domain: api.aduerpay.test.aduer.com busine...
使用filebeat给多个logstash传输数据
weixin_30381793的博客
09-27 1515
1. filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/log/messages - /var/log/dmesg - /var/log/maillog - /var/log/boot.log output.logstash: # 配置重点 host...
filebeat 负载均衡到多个logstash配置
cql252283126的博客
04-17 4518
logstash配置文件 input { beats { port => 5044 client_inactivity_timeout => 36000 # 如果不设置，会出现Failed to publish events: write tcp 192.168.12.141:53310->192.168.12.139:5044: write: ...
ELK系列(七)、Filebeat+Logstash采集多个日志文件并写入不同的ES索引中
热门推荐
王义凯 的博客
05-24 1万+
Logstash依赖于JVM，在启动的时候大家也很容易就能发现它的启动速度很慢很慢，但logstash的好处是支持很多类型的插件，支持对数据做预处理。而filebeat很轻量，前身叫logstash-forward，是使用Golang开发的，所以不需要有java依赖，也很轻量，占用资源很小，但功能也很少，不支持对数据做预处理。因此一般都是将filebeat+logstash组合使用，在每个节点部署filbeat，然后将监控的日志推送到数据缓冲层或直接推送到logstash集群内，配合redis或kafka做
filebeat实践-内存占用-最大内存占用
weixin_34320159的博客
11-11 1138
filebeat作为日志采集agent, 是需要部署到生产服务器上的.不理解filebeat的工作机制,不了解filebeat在实际生产使用中的内存使用将会给你带来意想不到的麻烦. 有些文章说filebeat内存消耗很少,不会超过100M, 这简直是不负责任的胡说,假如带着这样的认识把filebeat部署到生产服务器上就等着哭吧. filebeat在空载...
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
在IT行业中，ELK（Elasticsearch、Logstash、Kibana）栈是广泛...通过这个教程，你将能够在CentOS 7上搭建一个功能齐全的ELK+Filebeat日志管理平台，利用docker-compose简化部署流程，高效处理和分析服务器的日志数据。
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
filebeat-6.7.0-windows-x86_64.zip
01-02
轻量型日志采集器windows安装版，filebeat-6.7.0-windows-x86_64.zip 声明：本资源仅供学习使用，严禁商业用途。
ELK+FileBeat+Kafka分布式系统搭建图文教程.docx
06-06
ELK+FileBeat+Kafka分布式系统搭建图文教程 本教程详细记录了ELK+FileBeat+Kafka分布式系统的搭建流程和步骤，为大家快速上手提供了详细的指导。本系统由FileBeat、Kafka、Logstash、Elasticsearch、Kibana五个组件...
日志分析系统Elk + Filebeat安装包
07-08
日志分析系统ELK（Elasticsearch、Logstash、Kibana）是开源的数据收集、处理和可视化解决方案，常用于实时分析和监控各种系统、应用的日志数据。Filebeat是Elastic公司推出的一个轻量级的日志转发工具，用于收集和...
ELK+FileBeat日志分析系统
yunxi115的博客
06-05 818
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
filebeat吃爆内存问题
qw311113qin的博客
07-29 874
filebeat吃爆内存问题
Filebeat占用内存过大挂掉的问题【解决】
Mankel
11-09 2531
问题：filebeat启动一段时间后就会挂掉 1.docker-compose添加守护机制 一开始在docker-compose中添加了一个守护机制： ]# vim docker-compose.yml hostname: #在这行下面 restart: on-failure #容器发生error而退出(容器退出状态不为0)重启容器 发现只是持续的时间长了，并没有解决根本问题，而且当把内存跑满，还会影响其他的服务 后面发现每次重启filebeat，都会重新去读取文件，当内存跑满就挂了 发现问题就解决问
filebeat 把应用日志多行合并
qq_30029665的博客
03-26 502
不知道大家使用 filebeat 收集日志的时候有没有遇到过这样的问题，在 kibana 上查看 ERROR 日志时时不完整的，明明错误日志是有很多行的，但是我们按关键字查询的时候，只有一行，这就让人很头疼了，查不出哥前因后果来。pattern: ‘^\d{4}-\d{1,2}-\d{1,2}’ #匹配到不以 xxxx-xx-xx 这样的时间格式开头的日志（正则表达式）处理日志的关键配置是，解释 匹配到不以 xxxx-xx-xx 这样的时间格式开头的日志，自动合并到上一行的末尾。
filebeat 轻量型日志分析
weixin_44793145的博客
09-18 470
paths：指定要监控的日志，目前按照Go语言的glob函数处理。 encoding：指定被监控的文件的编码类型，使用plain和utf-8都是可以处理中文日志的。 input_type：指定文件的输入类型log(默认)或者stdin。 exclude_lines：在输入中排除符合正则表达式列表的那些行。 include_lines：包含输入中符合正则表达式列表的那些行（默认包含所有行），include_lines执行完毕之后会执行exclude_lines。 exclude_files：
/nacos/u1/ns/instance/beat
09-08
根据引用中的代码片段，/nacos/u1/ns/instance/beat 是一个用于发送心跳信息的接口。当Spring容器启动时，Nacos客户端会向Nacos服务端发送心跳信息并注册当前服务。具体的实现是通过向线程池中提交一个发送心跳的任务，实现异步发送。 引用中提到，Nacos是一个服务注册和发现的平台，它可以用来管理和维护微服务架构中的各个服务实例。 引用中提到，当使用Nacos集群时，对于服务列表非常多的情况下，可以通过计算每个服务的哈希值，并对集群列表长度取模的方式来分担健康检查的压力。这样的设计类似于分片的思想，可以使多台Nacos服务器共同承担健康检查的任务。 引用中指出，Nacos的临时节点同步模式是AP模式。这是因为Nacos集群中没有主节点，第一次收到数据的节点会向其他节点发起同步请求，即使其他节点没有同步到服务，整个集群也能正常对外提供服务。这种设计满足了可用性要求，因此是AP模式。 综上所述，/nacos/u1/ns/instance/beat是用于发送心跳信息的接口，Nacos是一个服务注册和发现的平台，可以管理和维护微服务架构中的各个服务实例。在使用Nacos集群时，可以通过哈希值计算和分片的方式来分担健康检查的压力。Nacos的临时节点同步模式是AP模式，保证了集群的可用性。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值