1,介绍
Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件,该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中,以方便用户通过 SQL 对审计日志进行查看和分析,这里的数据其实是Doris FE log目录下的 fe.audit.log
文件中的数据。
我们要做的是安装这个插件,然后我们可以通过doris sql去对应的表查询sql语句,也可以通过doris 目录下的fe.audit.log文件将日志接出之后写入外部操作。
通过filebeat数据接出到kafka,通过flink程序消费解析日志然后分析出血缘关系,这是我们最终的目的。
2,安装Doris 的审计日志插件
1)参考官网方式,编译得到 auditloader.zip 文件
审计日志插件 | Apache Doris
2)修改 fe conf下的配置文件,添加参数,启用plugin框架
plugin_enable = true
3)auditloader.zip文件上传到fe,解压到/plugins目录
在fe/plugins 目录下插件一个文件夹,然后auditloader.zip解压进这个文件夹,比如我这里创建文件夹auditdemo ,解压之后的效果:
4) plugin.conf 配置文件修改
plugin.conf 配置信息:
# 批量的最大大小,默认为 50MB
max_batch_size=52428800
# 批量加载的最大间隔,默认为 60 秒
max_batch_interval_sec=60
# 加载审计的 Doris FE 主机,默认为 127.0.0.1:8030。
# 这应该是Stream load 的主机端口
frontend_host_port=127.0.0.1:8030
# 审计表的数据库
database=doris_audit_db__
# 审计表名,保存审计数据
table=doris_audit_tbl__
# 用来连接doris的用户. 此用户必须对审计表具有 LOAD_PRIV 权限.
user=root
# 用来连接doris的用户密码
password=root
5)创建插件表