Graylog 配置Sidecar和filebeat

背火柴的小男孩

已于 2023-03-20 07:34:36 修改

阅读量2.3k

点赞数 6

分类专栏：日志监控文章标签： graylog linux 服务器

于 2022-12-24 13:02:29 首次发布

本文链接：https://blog.csdn.net/WEDUEST/article/details/128427753

版权

日志监控专栏收录该内容

13 篇文章 7 订阅

订阅专栏

📚Graylog-Sidecar配置

🗒️版本选择

Sidecar version	Graylog server version
1.2.x	3.2.5 or higher
1.1.x	3.2.5 or higher
1.0.x	3.0 or higher
0.1.x	2.2.x, 2.3.x, 2.4.x, 2.5.x, 3.0.x, 4.0.x
0.0.9	2.1.x

官网：https://docs.graylog.org/docs/sidecar

👀添加Beats类型的Input

如果存在Beats input就不用创建。

点击System/inputs,在Select input中选中Beats，点击Launch new input

勾选Global，输入Title，其他默认即可。

📈创建graylog-sidecar的token

输入Token Name，点击**Create Token**按钮即可。

提示创建成功后，需要及时复制token并保存。再次进入后不再显示token信息。

🔩安装sidecars和filebeat

可直接到安装脚本中，下载脚本安装即可。

地址：https://github.com/Graylog2/collector-sidecar/releases

🖥Linux安装

地址：https://github.com/Graylog2/collector-sidecar/releases
这里以1.2.0版本为例

下载与安装sidecar

sudo rpm -Uvh https://github.com/Graylog2/collector-sidecar/releases/download/1.2.0/graylog-sidecar-1.2.0-1.x86_64.rpm

# sudo yum install graylog-sidecar

修改配置

编辑/etc/graylog/sidecar/sidecar.yml文件进行配置
这里只需要配置 graylog地址，token等信息，日志采集路径，不用配置，通过graylog下发配置即可

# 修改为http://10.0.107.158:29000/api/
server_url: "http://10.0.107.158:29000/api/"
# 配置token
server_api_token: "bb3n4bo9kt1uqu3fkcresi6v0euc9o0vr8koevubj510i4r6nme"
# 修改node_name
node_name: "10.0.204.66"
# 取消#update_interval: 10的注释
update_interval: 10
# 取消#send_status: true 的注释
send_status: true

注册为服务

# 将sidecar注册为服务
graylog-sidecar -service install
# 启动服务
systemctl start graylog-sidecar
# 查看服务状态
systemctl status graylog-sidecar

启动后在`graylog`中就可以看到在线状态了

修改配置重启服务器生效

# 如果修改配置后，需要重启服务，配置即可生效
systemctl restart graylog-sidecar

安装filebeat

地址：https://www.elastic.co/cn/downloads/beats/filebeat

# 下载rpm包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.8.23-x86_64.rpm
# 安装
rpm -ivh filebeat-6.8.23-x86_64.rpm

# 启动filebeat
systemctl start filebeat

filebeat未启动会有如下报错

💡安装脚本

在需要大量部署的情况下，推荐使用安装脚本一键安装，省时省力。

脚本地址：
链接：https://pan.baidu.com/s/1HUZ3EQIybHys3ULQseIeNA
提取码：gcjk

目录结构：

安装命令：

# 解压
tar -zxvf filebeat_install.tar.gz

# 安装示例：  ./install.sh 参数1【graylog服务地址】 参数2【token】 参数3【节点名称，可以为IP或其他自定义名称】
./install.sh 10.0.107.158:29000 bb3n4bo9kt1uqu3fkcresi6v0euc9o0vr8koevubj510i4r6nme 10.0.107.158

安装成功：
服务器显示服务状态为active。graylog页面中可以查看到sidecar的状态。

📌修改token等配置

编辑/etc/graylog/sidecar/sidecar.yml文件进行配置，修改后重启服务即可

# 修改配置文件 qsc841q7fvsjglcatpd7vhk69e0qfott9ss63u7k8bpflk5p0v6
vim /etc/graylog/sidecar/sidecar.yml
# 重新启动服务
systemctl restart graylog-sidecar

💻windows安装

windows版本的sid ecar自带了filebeat和winlogbeat，不用单独安装。

下载与安装

地址：https://github.com/Graylog2/collector-sidecar/releases
在github下载对应文件。
双击graylog_sidecar_installer_1.2.0-1.exe
填写相关参数：
Graylog API：gray log的api接口，格式为http://{ip}:{port}/api，{}中的数据替换为真实Ip和端口
insatance：实例名称，填写本机IP即可。
API token：graylog 生成的Token。

示例：
Graylog API: http://10.0.107.158:29000/api
instance:192.168.124.75
API token：bb3n4bo9kt1uqu3fkcresi6v0euc9o0vr8koevubj510i4r6nme

安装好以后的配置文件路径为C:\Program Files\Graylog\sidecar\sidecar.yml，修改配置文件重新启动服务即可。（此电脑->右键->管理->服务和应用程序）
日志文件路径：C:\Program Files\Graylog\sidecar\logs

脚本地址：
链接：https://pan.baidu.com/s/1yeZcVjON1WtfJIpVQ6_tAw
提取码：zsq2

命令行注册服务，并启动服务，管理员权限执行

win+r 输入cmd
按ctrl+shift+enter 即可进入管理员

"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service install
"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service start

注册完，并启动以后在服务中就可以看到

grayLog中也可以看到该windows主机上线了

📗配置采集规则

📃采集文件配置

System/sidecars界面点击Configuration按钮，进入页面后点击 Create Configuration

填写必要信息

示例：
Name自定义为windows_filebeat_conllector_cfg
Configuration color挑选一个颜色
Collector选择为filebeat on Windows类型
Configuration配置文件修改

# Needed for Graylog
fields_under_root: true
fields.collector_node_id: ${sidecar.nodeName}
fields.gl2_source_collector: ${sidecar.nodeId}

output.logstash:
   hosts: ["10.0.107.158:5044"] # 日志发送给graylog的地址，默认端口为5044，即我们创建input时的端口
path:
  data: C:\Program Files\Graylog\sidecar\cache\filebeat\data
  logs: C:\Program Files\Graylog\sidecar\logs
tags:
 - windows
filebeat.inputs:
- type: log
  enabled: true
  paths: # 采集E:\prometheus\graylog\目录下.log结尾的日志
    - E:\prometheus\graylog\*.log
  fields: # 定义字段 app_name即服务名编码，environment为环境（预生产pre、生产pro），log_type为日志类型，严格与系统保持一致
   app_name: example_glef_graylog
   environment: pro
   log_type: Java

配置完点击Create保存即可

💡配置下发

进入System/Sidecars，找到对应的fileBeat点击Manage sidecar进行配置下发

配置下发后，就可以直接采集日志文件了

变量配置：
可以配置变量，新增的配置直接引用变量即可。

🔖相关路径

在配置文件中可以对sidecar的data和log目录进行配置。
linux默认路径为：

data: /var/lib/graylog-sidecar/collectors/filebeat/data
logs: /var/lib/graylog-sidecar/collectors/filebeat/log
安装路径：/etc/filebeat /etc/graylog/sidecar

windows默认路径为：

data: C:\Program Files\Graylog\sidecar\cache\filebeat\data
logs: C:\Program Files\Graylog\sidecar\logs
安装路径：C:\Program Files\Graylog

📖参考资料

filebeat · ELKstack 中文指南
开源日志管理系统Graylog之Sidecar功能实践 - 腾讯云开发者社区-腾讯云
[日志分析]Graylog2采集Nginx日志主动方式
Graylog收集nginx日志做地图事态感知_king config的博客-CSDN博客
Graylog Sidecar filebeat日志收集传输工具安装_施小赞的博客-CSDN博客_filebeat graylog