使用Vector监听 Linux Nginx 服务访问日志导入鸿鹄

最新推荐文章于 2024-05-17 04:41:30 发布

炎凰数据

最新推荐文章于 2024-05-17 04:41:30 发布

阅读量380

点赞数

文章标签： nginx linux 运维

本文链接：https://blog.csdn.net/Yhpdata888/article/details/131250243

版权

Vector 是一个轻量级的高性能数据采集和数据转换工具，鸿鹄提供了Vector数据源适配，可以通过配置Vector采集器，将各种不同数据源的数据快速采集，导入鸿鹄。

本文以监听文件的方式采集Nginx访问日志，阐述如何快速使用 Vector ，将日志导入指定的鸿鹄数据集。

监听访问日志文件，导入鸿鹄

先决条件

1、需要存储日志的数据集已经新建成功。关于如何新建数据集，可以参考鸿鹄使用手册相关章节。

2、在Nginx所部署的 Linux 主机，安装 Vector 采集器。具体的 Vector 采集器安装指南，可以参考 Vector 官方文档。 在安装完 Vector 之后，需要重启 Terminal 窗口，开启新的 Shell Session，才能保证 Vector 所需的环境变量被加载。

3、正确配置的nginx服务器，nginx 服务器的访问日志写入文件 /var/log/nginx/access.log。

具体步骤

1、将存储 Nginx 访问日志的数据集添加到system_default_vector_input的数据集白名单中:

登录鸿鹄之后，点击左侧菜单的“数据导入” - “外部数据源导入”导航按钮，进入“外部数据源导入” 页面，点击 system_default_vector_input 行的“编辑”按钮，编辑默认vecotr数据源的数据集白名单。将存储访问日志的数据集添加到数据集范围。在我们的例子中，我们会将访问日志导入到 demo_accesslog 数据集。

2、下载 vector 配置模板：

进入鸿鹄“数据导入” - “外部数据源导入” 页面，点击 system_default_vector_input 行的“下载配置模板”按钮。选择数据源类型为“nginx.access_log”，要导入的数据集名称我们选择“demo_accesslog”。注意：数据集名称可以根据实际情况调整，但是数据源类型一定要选择“nginx.access_log”。

将配置文件模板保存到 $HOME/gdi_demo_accesslog.toml

3、编辑 vector 配置文件，添加访问日志监听 source

将配置文件 $HOME/gdi_demo_accesslog.toml 更新为如下的内容

更新 source.vector_inpout_config 部分，设置监听nginx 访问日志文件。并且设置正确的 _host 和 _source 字段。

修改 sinks.honghu 部分，填入鸿鹄安装机器的IP，在本文例子当中，vector 和鸿鹄安装于同一台机器，因此，我们填入 127.0.0.1 。

保存配置文件

4、启动 vector，开始监听访问日志。

如果启动成功，将看到如下的日志，可以看到日志文件 /var/log/nginx/access.log 已经被监听。

...

2022-12-05T09:07:16.935581Z INFO source{component_kind="source" component_id=vector_input_config component_type=file component_name=vector_input_config}: vector::sources::file: Starting file server. include=["/var/log/nginx/access.log"] exclude=[]

2022-12-05T09:07:16.936898Z INFO source{component_kind="source" component_id=vector_input_config component_type=file component_name=vector_input_config}:file_server: file_source::checkpointer: Attempting to read legacy checkpoint files.

2022-12-05T09:07:16.956467Z INFO vector::topology::builder: Healthcheck: Passed.