Superset数据集统计

最新推荐文章于 2024-07-31 14:01:32 发布

Ricardo_N

最新推荐文章于 2024-07-31 14:01:32 发布

阅读量543

点赞数 10

文章标签：大数据

本文链接：https://blog.csdn.net/Ricardo_N/article/details/134650195

版权

本文讲述了在服务器上使用Superset进行数据展示时，如何通过日志分析统计数据集的访问情况，包括最后一次访问时间、不同用户和时间窗口的使用次数。作者还分享了从SQLite导出数据并加载到MySQL以供Superset展示的步骤。

摘要由CSDN通过智能技术生成

背景描述

日常业务中，在服务器上搭建superset作为数据展示。经过一段时间业务发展，数据集和看板数量都有长足的增长，因此需要对数据集的使用情况做一个初步统计。

一方面可以用于评估需求可靠性，另一方面也便于统计长时间没有查看过的数据集，方便后续下掉相关任务，节省资源。

主要统计指标

数据集使用情况
最后一次访问时间
相关数据集不同时间窗口内的使用次数
不同账号的访问记录

如何监控

大致思路是通过日志中查询数据的日志，关联上对应的图表，图表在关联上对应的数据池。

搭建方式参考尚硅谷superset视频文档，默认内置数据库为SQLite,语法与psql有些不同

关键表及字段说明

在这里插入图片描述

数据集查询SQL

SELECT 
    a.dttm,
    a.user_id,
    a.slice_id,
    a.duration_ms,
    b.datasource_id,
    b.slice_name,
    c.table_name,
    d.last_name || d.first_name AS username
FROM 
    logs a
JOIN 
    slices b ON a.slice_id=b.id
JOIN 
    tables c ON b.datasource_id=c.id
JOIN 
    ab_user d ON a.user_id=d.id
WHERE 
    a.action='ChartRestApi.data' AND
    a.dttm > date('now', '-3 day', '-8 hour');