Doris 系统日志和审计日志

已于 2024-06-18 11:02:14 修改
阅读量534 收藏
点赞数 2
文章标签： java 前端 服务器
于 2024-06-18 11:01:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63628018/article/details/139767458
版权 
INSTALL PLUGIN FROM "/data/software/doris/dependencies/audit_loader/auditloader.zip";

Doris 日志有系统日志和审计日志，审计日志记录了执行的SQL操作，位于 doris/fe/log/fe.audit.log 文件。
doris官方提供了plugins插件，可以自定义fe.audit.log中查询SELECT SQL写表，如按    "dynamic_partition.time_unit" = "DAY" 每日备份查询和慢查询audit记录写到表中
 

SunTecTec
关注
2万字长文Doris运维问题大全及参考答案（持续更新）
大模型大数据攻城狮的专栏
06-18 429
Apache Doris（原Palo）是一个面向OLAP（在线分析处理）的MPP（大规模并行处理）数据库系统，专为实时分析和大数据处理场景设计。高性能分析：通过列式存储、向量化执行引擎和先进的查询优化器，Doris能够提供亚秒级的查询响应时间，特别适合复杂的分析查询。易用性：Doris支持标准SQL语法，降低了学习成本，同时提供了丰富的数据导入工具和灵活的数据模型设计，便于用户快速上手。高可扩展性：Doris采用分布式架构，可以轻松横向扩展，通过增加更多的服务器来提升数据处理能力和查询性能。高可用性。
Doris 的审计日志插件是在 FE 的插件框架基础上开发的 是一个可选插件 用户可以在运行时安装或卸载这个插件 该插件可以
09-06
Doris-日志审计 Doris 的审计日志插件是在 FE 的插件框架基础上开发的。是一个可选插件。用户可以在运行时安装或卸载这个插件。 该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析。
Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析
qq_31866793的博客
10-09 2078
1，介绍 Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件，该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析，这里的数据其实是Doris FE log目录下的fe.audit.log文件中的数据。 我们要做的是安装这个插件，然后我们可以通过dorissql去对应的表查询sql语句，也可以通过doris目录下的fe.audit.log文件将日志接出之后写入外部操作。 通过filebeat...
Doris 日志审计&慢查询 配置
最新发布
qq_29321057的博客
09-06 1237
frontend_host_port：FE 节点 IP 地址和 HTTP 端口，格式为 :。enable_slow_log：是否开启慢查询日志导入功能。审计日志插件框架在 Doris 中是默认开启的的，由 FE 的配置。完成后，插件会不断的以指定的时间间隔将审计日志插入到这个表中。plugin.properties：插件属性文件。audit_log_table：审计日志表名。slow_log_table：慢查询日志表名。属性根据自己的需要，选择审计日志保留的天数。
【Apache Doris】审计日志插件 | 快速体验
ith321的博客
11-14 1845
【Apache Doris】审计日志插件 | 快速体验
Doris之审计日志插件
qq_43688472的博客
01-25 1591
Doris之审计日志插件
最佳实战｜Apache Doris SQL日志审计功能
bigdata_player
10-07 2865
一.功能介绍 SQL日志审计是一个可插拔的插件，旨在将logs/fe.audit.log中的sql查询信息记录到doris集群中，方便用户对sql进行分析。 二.安装 1）编译 在doris源码目录下，执行 sh build_plugin.sh 编译完成后会在 fe_plugins/output 目录下得到 auditloader.zip 文件。 登录到doris客户端，执行 INSTALL PLUGIN FROM "/opt/doris/auditlo...
基于Doris的日志存储分析平台（Doris库表设计）
nick_huangzheng的博客
05-10 1153
【代码】基于Doris的日志存储分析平台（Doris库表设计）
Doris审计日志插件：运行时动态安装与SQL审计分析
该插件的主要功能是能够将FE端的审计日志定期导入到指定的Doris集群中，从而允许用户通过标准的SQL查询方式来查看和分析这些审计日志。" 知识点详细说明: 1. Doris 数据库概述: Doris 是一个开源的 MPP（Massively...
c# oracle转starRocks(doris)建表语句
07-31
- 通过日志记录迁移过程，便于后续的审计和故障排查。 6. **测试验证**： - 迁移完成后，务必对目标数据库（StarRocks）进行功能和性能测试，确保数据的完整性和业务逻辑的正确性。 7. 【OracleToDoris】文件...
打造全网最全Doris面试题(100个问题4万字）
大模型大数据攻城狮的专栏
03-24 602
Materialized View（物化视图）是Doris中一种用于优化查询性能的特性。物化视图是预先计算和存储的查询结果，它可以被视为一种缓存机制。当用户执行查询时，Doris会检查是否存在与该查询相匹配的物化视图，如果存在，Doris将直接返回物化视图中的结果，而不是重新执行查询计算。这种方式显著减少了查询响应时间和系统资源的消耗。Doris支持用户定义函数（UDF），允许用户扩展Doris的功能，满足特定的数据处理需求。
Doris实战——美联物业数仓
爱吃辣条的博客
02-27 1563
Doris实战——美联物业数仓
基于Doris的日志存储分析平台（Doris安装部署）
nick_huangzheng的博客
05-10 981
基于Doris的日志存储分析平台（Doris安装部署）
基于Doris的日志存储分析平台（同步Kafka日志数据）
nick_huangzheng的博客
05-13 1659
【代码】基于Doris的日志存储分析平台（同步Kafka日志数据）
文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读
SelectDB
01-26 1298
总而言之，Apache Doris 中的倒排索引显著优化了针对谓词列的过滤操作，即 SQL 查询中的 Where 子句。通过精确匹配行号，减少了存储层需要扫描的数据量，从而提高了查询性能。即使在性能提升有限的情况下，倒排索引也不会对查询效率产生负面影响。此外，倒排索引还支持轻量级的索引管理操作，如对增加或删除索引（ADD/DROP INDEX）以及构建索引（BUILD INDEX）操作进行管理。
利用Flink(1.17)滚动窗口实时统计Apache Doris审计日志
weixin_43914798的博客
04-21 1059
统计每30S内各用户访问数仓的频次，同时过滤出慢查询，将慢查询单独输出，用于后期分析
Apache Doris 入门教程25：通过开启 Debug 日志进行性能分析
sunjian286的专栏
08-09 418
本文简要介绍如何在 Apache Doris 中开启 Debug 日志进行性能分析
采集Doris的FE和BE 日志到对象存储
wangleigiser的博客
11-15 538
【代码】采集Doris的FE和BE 日志到对象存储。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunTecTec

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值