概述:
“观测云”为您提供了全面的日志采集能力,支持采集Windows/Linux/MacOS主机、Web服务器、虚拟机、网络设备、安全设备、数据库等产生的日志数据,但由于采集的日志中会包含您不需要的部分日志,所以“观测云”为您提供了「日志黑名单」功能,即通过添加日志过滤规则,将符合该规则的日志数据过滤、阻止上报到工作空间,帮助您节约日志数据存储费用。
前置条件:
您需要先创建一个观测云账号,并在您的主机上安装 DataKit,开启相关集成的运行,进行数据采集。
日志黑名单的作用:
a.省钱
在“观测云”中,针对于日志类数据的计费方式如下:
计费项 | 计费单元 | 敏捷版梯度价格 | ||
数据存储策略 | 14 天 | 30 天 | 60 天 | |
日志类数据数量 | 每百万条 | 1.5 元 | 2 元 | 2.5 元 |
以“可用性拨测”产生的日志数据为例,我们创建一个北京的节点,每分钟对本公司站点进行一次拨测。 这时每分钟都会生成一条日志上传到工作空间,而我们更关注的是该节点拨测超时、失败的时候,所以这时可以使用我们的日志黑名单功能,将拨测 status 为 OK 的日志进行过滤,从而大大节省了数据成本。
b.省心
日志黑名单配置成功立即生效,全工作空间所有用户通用,且仅需配置一次,永久生效。标准成员以上都可以新建、编辑黑名单配置。
c.省时
使用日志黑名单功能,可以减少无效日志的收集,将更多有效信息呈现在工作空间内,便于您更快地查找到目标日志。
如何使用日志黑名单功能
a.查看黑名单
在 “观测云” 工作空间,点击「日志」-「黑名单」,您可以通过「日志黑名单」,查看全部日志过滤规则。
b.新建、编辑黑名单
新建:在日志黑名单左上角,点击「新建黑名单」,即可新建一个日志过滤规则。
编辑:在日志黑名单右侧,点击「编辑」,即可编辑已经创建的日志过滤规则。
如下图所示;选择日志来源http_dail_testing
,筛选过滤status=OK
且city=hangzhou
的日志数据。
注意:日志过滤筛选条件为“and(并且)”的关系,即同时符合过滤筛选条件的日志数据,将不会被上报到工作空间。
c.删除黑名单
在日志黑名单右侧,点击「删除」,即可对已有的日志过滤规则进行删除。过滤规则删除后,日志数据将正常上报到工作空间。