Superset源码阅读(TODO)

最新推荐文章于 2024-07-25 20:12:15 发布
最新推荐文章于 2024-07-25 20:12:15 发布
阅读量3.2k 收藏 14
点赞数 4
分类专栏： 大数据 文章标签： 大数据 superset BI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39945938/article/details/121264992
版权

我的Superset源码阅读笔记

版本

Superset 1.3.2

一、技术框架

搭建环境参考Apache Superset二次开发环境配置

Superset使用到的技术框架：

  • 前端采用 ，D3
    – React：为数据提供渲染为HTML视图的开源JavaScript 库
    – jinja Python 模板语言，渲染html用的
    – D3：数据可视化javascript库

  • spuerset 后端采用Flask及Flask其他插件：Flask-AppBuilder、Sqlachermy，celery，pandas
    – Flask Python微型web框架
    – Flask-AppBuilder : 登录验证，权限控制。
    – Flask-Login 登录
    – Flask-WTF 表单校验
    – sqlachermy: 数据引擎，连接DB
    – pandas：数据处理
    – celery：定时异步任务

二、目录结构

1 整体目录结构

打开gitbash

# 进入项目根目录
cd $SUPERSET_HOME
# 查看当前目录内容，为了方便查看删掉了一些多余内容
$ ls -la
total 1427
.
..
.asf.yaml
.codecov.yml
.dockerignore
.editorconfig
.flaskenv
.fossa.yml
.git
.github
.gitignore
.gitmodules
.idea
.pre-commit-config.yaml
.pylintrc
.rat-excludes
CHANGELOG.md
CODE_OF_CONDUCT.md
CONTRIBUTING.md
Dockerfile
INSTALL.md
LICENSE.txt
MANIFEST.in
Makefile
NOTICE
README.md
RELEASING
RESOURCES
UPDATING.md
apache_superset.egg-info
docker
docker-compose-non-dev.yml
docker-compose.yml
docs
helm
lintconf.yaml
pytest.ini
requirements
scripts
setup.cfg
setup.py
start.py
superset # 后端项目所在目录
superset-frontend # 前端项目所在目录
superset-websocket
tests
tox.ini
venv

2 前端目录结构

# 进入前端目录
cd $SUPERSET_HOME/superset-frontend
# 查看前端目录结构
$ ls -la
total 4379
.
..
.eslintignore
.eslintrc.js
.gitignore
.idea
.nvmrc
.storybook
babel.config.js
cypress-base
cypress_build.sh
images
jest.config.js
js_build.sh
jsconfig.json
node_modules
package-lock.json
package.json
prettier.config.js
spec
src # 前端重要文件
stylesheets
tsconfig.json
webpack.config.js # 前端入口文件
webpack.proxy-config.js

3 后端目录结构

# 进入后端目录
cd $SUPERSET_HOME/superset
# 查看后端目录结构
$ ls -la
total 436
.
..
__init__.py
__pycache__
annotation_layers
app 
app.py # 后端服务启动入口
async_events
cachekeys
charts # 图表相关接口
cli.py
commands
common
config.py # 配置文件
connectors # 连接器
constants.py # 静态变量
css_templates
dao # 公共的增删改查实现
dashboards # 仪表盘相关接口
databases # 数据库相关接口
dataframe.py 
datasets # 数据集（表）相关接口
db_engine_specs # 数据源兼容
db_engines
errors.py
examples # 示例
exceptions.py
extensions.py
forms.py # 表单
initialization
jinja_context.py
legacy.py
migrations # 升级相关实现
models # 数据库模型
queries # 查询相关实现
reports
result_set.py
schemas.py
security # 用户和权限相关实现
sql_lab.py
sql_parse.py
sql_validators
sqllab
static # 静态资源
stats_logger.py
tasks
templates # 页面模板
translations # 语言本地化
typing.py
utils
views # 视图层
viz.py # 所有可视化的基类

三、源码流程

一般流程

  1. 页面发起请求
  2. 如果需要表单才能完成的功能，先请求表单；再提交表单
  3. 如果不需要表单，请求后台接口

1 登录

  1. 后台服务启动
  2. 浏览器访问http://localhost:3000/实际访问的是flask_appbuilder/templates/appbuilder/index.html
  3. index.html调用的是superset/views/core.py里的welcome方法，这里可能是判断未登录，所以重定向到了login
  4. welcome 调用 http://localhost:3000/login/接口
  5. 默认是db方式，所以调用的是flask_appbuilder/security/views.py里的AuthDBView的login方法获取登录表单，这个login是get请求
  6. login返回登录表单，填写用户名密码，还是调用login，这次是post
  7. 重定向到http://localhost:3000/

2 注册

默认未开启注册，添加配置后才可注册

开启注册功能的配置

在superset项目根目录的config.py中修改或添加如下配置项

AUTH_TYPE = 1 # Database Authentication
AUTH_USER_REGISTRATION = True
AUTH_USER_REGISTRATION_ROLE = 'Public'
# Config for Flask-WTF Recaptcha necessary for user registration
RECAPTCHA_PUBLIC_KEY = 'GOOGLE PUBLIC KEY FOR RECAPTCHA'
RECAPTCHA_PRIVATE_KEY = 'GOOGLE PRIVATE KEY FOR RECAPTCHA'
# Config for Flask-Mail necessary for user registration
MAIL_SERVER = 'smtp.gmail.com'
MAIL_USE_TLS = True
MAIL_USERNAME = 'yourappemail@gmail.com'
MAIL_PASSWORD = 'passwordformail'
MAIL_DEFAULT_SENDER = 'fabtest10@gmail.com'

流程：

  1. 打开superset登录界面，点击REGISTER，请求的url为http://localhost:3000/register/form
  2. form调用的是flask_appbuilder/security/registerviews.py的RegisterUserDBView的form_get方法
  3. 填完用户名密码等，点击注册调用的是flask_appbuilder/security/registerviews.py的RegisterUserDBView的form_post方法
  4. 注册完成重定向到http://localhost:3000/login/登录页面

3 查询所有Dashboard

  1. 接口url：http://localhost:3000/api/v1/dashboard/
  2. 看日志请求的是DashboardRestApi.get_list，DashboardRestApi没有get_list方法，找父类BaseSupersetModelRestApi
  3. BaseSupersetModelRestApi也没有，不过继承了flask_appbuilder的ModelRestApi
  4. 果然在ModelRestApi里找到了get_list方法，而get_list最终调用了get_list_headless方法

4 显示导航栏流程

  1. 访问登录页面http://localhost:3000/login/，填入用户名密码，点击登录
  2. 调用的是superset/views/core.py里的welcome方法，welcome返回superset/spa.html

导航栏分为左和右两个部分，我们关注的是左边的
在这里插入图片描述
在superset/spa.html里找了一下未发现和navbar相关的东西

不过spa.html继承了basic.html
在这里插入图片描述

  1. basic.html又include了appbuilder/navbar.html
    在这里插入图片描述
    到这里线索断了

建议

读superset源码时，一定要结合Flask Appbuilder官方文档一起读,superset官方文档没提到的内容基本上都可以在Flask Appbuilder官方文档里找到

参考资料

superset 开发环境搭建

Superset Github

Superset Documentation

终回首
关注
  • 4
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Superset二次开发之导入导出功能源码解读
Aimmon
06-26 1047
支持 看板（Dashboard）、图表（Charts）、数据集（Datasets）、SQL（saved_query）、数据库（Database connection） 单次或批量的导出，和单次导入操作_id。
开源Superset在线设计图表框架源码解析
与时俱进的专栏
02-28 3994
开源Superset在线设计图表框架源码解析 目的 superset是很强大的BI分析框架，有些不满足需求的难免要二次开发，二次开发首先要读懂它的源码，基于此目的把自己阅读代码的一些分析分享给大家，让大家都superset整体的源码有个整体的认识，然后具体到哪块代码的时候，可以快速找到具体分析。 Superset是什么？ Superset是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视.
superset学习相关
06-27
superset学习相关
superset-roadmap:Apache Superset的公开路线图
05-18
超集公共路线图 概述 我们已经使用引入了此公共路线图，请在此处查看详细的动机。 本文档描述了使用和贡献路线图的实际方面。 目标听众 任何对了解Superset的功能如何得到增强以及随着时间的推移将如何变化感兴趣的人。 这包括开发人员，最终用户和项目发起人。 免责声明 本内容的目的是概述Superset的一般产品方向。 它仅用于提供信息，不得与任何合同合并。 这不是交付任何材料，代码或功能的承诺，并且在做出购买决策时不应以其为依据。 Superset中描述的任何功能的开发，发布和时间安排如有更改，恕不另行通知。 为路线图做贡献 添加一个新项目以供考虑 社区中的任何人都可以将新的拟议项目添加到路线图中：（请参阅） 使用模板在库中创建新问题 将问题添加到 将其添加到板上的“供考虑”列 （可选）您可以创建SIP或将现有SIP链接到史诗 优先次序 创建新项目后，它将被放置在“收件箱”列中。 项目收
Superset二次开发之Dashboard状态变更源码解读
最新发布
Aimmon
07-25 766
在Superset项目中，Redux 被用作状态管理库，以集中管理应用程序的状态。Redux 以其可预测性和一致性而著称，适用于复杂的应用场景，比如Superset这样的数据分析平台。
Pycharm 调试 superset 源码配置（远程调试）
奔跑的蜗牛的博客
03-22 1261
superset 的源码调试方式还是比较简单的，容易出问题的步骤应该就是环境安装了，最好是有 vpn，前后端都启动成功后，我们只需要在 Pycharm 中打断点就可以调试了。superset 的目录结构还是比较清晰的，我们需要调试哪个模块到对应的目录下去找到对应的视图函数就行了。后边会总结下superset 前端功能模块对应后端代码位置，以及源码说明，使用第三方登录验证 superset 源码改造等。
superset 商务智能最新解读
newmr0lwq的博客
01-07 1648
superset 与 flask appbuilder 在开始之前我想强调一点，Superset定位BI，如果你想找的只是一款简单图表工具，那么建议echarts之类工具就能给你满足。否则supserset那些复杂的统计函数和切片配置会让你很是疑惑。 一、superset简介 apache Superset是一个现代的、企业级的商业智能web应用程序。 二、flask appbuilder简介...
Superset源码安装启动二次开发
hz1988a的专栏
04-19 346
2.创建superset_config.py文件放在根目录下面。如果前端页面二开了，需要先build。
Centos7 superset0.30.0 生产环境异步高并发稳定结构部署 superset+gunicron+gevent+mysql+redis+celery+flower+supervisor
LancerWu的博客
03-27 1006
文章目录环境准备搭建conda虚拟环境安装需要用到的python包安装需要用到的Centos应用superset配置修改默认数据库celery部分配置修改默认缓存设置superset+celery+mysql+flower启动测试superset启动celey启动flower启动gunicorn配置supervisor配置 环境准备 搭建conda虚拟环境 建议为superset搭建一个专门的py...
lab3Gif3004
03-10
lab3Gif3004
Superset 安装步骤
06-11
superset作为一个优秀的数据可视化开源项目，为用户提供了丰富的图表视觉效果
superset-ui-plugins：官方的Superset UI插件集合
02-05
@ superset-ui /插件 :electric_plug: :light_bulb: 更新：此存储库中的代码已迁移并合并到。 @superset-ui/legacy-*软件包从经典的中提取并转换为插件。 这些包的提取只需很小的更改（几乎保持原样）。 它们还依靠旧版API（ viz.py ）起作用。 @superset-ui/plugin-*软件包通常较新且质量更高。 它们不依赖viz.py （包含可视化特定的python代码）并与/api/v1/query/交互的主要区别在于：新的通用终结点旨在提供所有可视化。 还应该用Typescript编写。 目前，我们不接受将新的社区贡献插件合并到此存储库的请求请求。 我们暂时保持精简，
apache-superset-1.3.0最新版本源码包
08-27
源码包通常包含了所有必要的文件，包括Python模块、模板、静态资源等，允许开发者深入了解项目结构，进行二次开发或调试。 总之，Apache Superset 是一个功能丰富的数据可视化和BI工具，它以其易用性、灵活性和强大...
superset.sh
07-18
适用于本人使用superset完成mysql数据库或者hive数据库的数据可视化一文
superset_config.py
06-17
superset_config.py
SuperSet安装SuperSet安装SuperSet安装
07-14
SuperSet安装
celery 可视化_开源的数据探查与可视化平台superset
weixin_39914243的博客
01-12 326
安装 pip supersetcurl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython get-pip.pyλ pip install supersetCollecting supersetDownloading https://files.pythonhosted.org/packages/80/98/8ffd47f4b68b11...
Apache Superset集成Echarts
别来无恙づ的博客
06-14 4372
一、环境准备 1.1 软件环境 npm，nodejs 二、主要步骤 2.1、添加漏斗图模型 cd venv/lib/python2.7/site-packages/superset vi viz.py 在class TableViz(BaseViz):上方加入以下代码： class EchartsFunnelViz(BaseViz): """ Funnel Chart""...
Superset 源码目录结构说明
07-17
Superset 的源码目录结构如下所示： - `superset`: 根目录，包含了 Superset 的核心代码和配置文件。 - `assets`: 包含前端资源文件，如 JavaScript、CSS、图像等。 - `connectors`: 包含了数据库连接器的代码，用于与不同类型的数据源进行连接和查询。 - `datasets`: 包含了数据集相关的代码，用于管理和操作数据集。 - `db_migration`: 包含数据库迁移相关的代码，用于管理数据库的版本和结构变化。 - `security`: 包含了安全认证和权限管理相关的代码。 - `sql_lab`: 包含了 SQL 实验室的代码，用于执行和管理 SQL 查询。 - `templates`: 包含了模板文件，用于生成用户界面的 HTML 页面。 - `utils`: 包含了一些通用的工具函数和类。 - `views`: 包含了视图函数和路由配置，用于处理用户请求和生成响应。 - `__init__.py`: 初始化文件，定义了 Superset 的入口和全局配置。 - `config.py`: 配置文件，包含了 Superset 的各种配置选项。 - `tests`: 包含了测试代码和测试数据，用于对 Superset 进行单元测试和集成测试。 - `docs`: 包含了文档和帮助文件，用于说明 Superset 的安装、配置和使用方法。 - `examples`: 包含了示例代码和示例数据，用于演示 Superset 的功能和用法。 - `requirements.txt`: 定义了 Superset 的依赖库和版本要求。 - `setup.py`: 安装文件，用于安装和部署 Superset。 这只是 Superset 的一些核心目录和文件，实际上还有其他一些文件和目录用于支持插件、扩展和配置。Superset 的源码目录结构设计合理，模块化程度高，使得开发者可以方便地理解和扩展 Superset 的功能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值