superset 升级和迁移中的那些坑

最新推荐文章于 2023-12-07 14:22:29 发布
最新推荐文章于 2023-12-07 14:22:29 发布
阅读量5.6k 收藏 3
点赞数
分类专栏： 其它程序 文章标签： superset 大数据 BI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/icyfox_bupt/article/details/100545212
版权
本文详细记录了将superset从sqlite迁移到mysql并升级的过程，包括版本不一致导致的导入问题、升级过程中的表格存在错误、ALTER错误以及收藏报表错误等，通过手动调整和配置，最终成功完成迁移和升级。
摘要由CSDN通过智能技术生成

superset是一个优秀的开源数据展示软件，但是在一些支持上还有所欠缺。

笔者目前遇到一个任务： 需要将superset的数据库从sqlite迁移到mysql上，并升级superset，在这个过程中遇到了很多问题。

任务

  1. 迁移superset meta，sqlite -> mysql
  2. 升级superset， 0.28.1 -> 0.34.0rc1
  3. 使用docker启动superset

步骤1： 导出基础数据

使用superset自带命令导出数据源和数据配置：

superset export_datasources > datasources.yaml
superset export_dashboards > dashboards.json

问题1：版本不一致，无法直接导入数据

最开始笔者使用了0.34.0rc1的superset导入步骤1中的yaml和json，因为格式不一致，无法成功导入。 查看了源代码发现在这几个版本中，更改了大量的数据库schema，即superset的export不能跨版本导入。

步骤2：使用旧版本连接mysql，并导入数据

使用docker启动一个新的superset，版本和旧superset一致（0.28.1）

docker run -d -p 8088:8088 -v /root/superset:/home/superset amancevice/superset:0.28.1
最低0.47元/天 解锁文章
icyfox_bupt
关注
专栏目录
superset 升级到最新版本 踩到的坑
lg4546的专栏
11-24 1667
superset最近的更新颇为频繁，还增加了对es的支持，必须升级一把。 升级的方法也比较简单，现在测试环境试验，官方的文档有说明： 按照网上提供的 升级教程 升级。 cd ~ # 停止运行 killall -9 gunicorn # 激活虚拟环境 . ./superset/bin/activate pip install superset --upgrade superset db upgrade superset init 我升级完后会报错。 superset init INFO:root
docker环境下的superset升级
qq_38360409的博客
05-13 1005
1.拉取最新镜像，这里选择的是apache/superset:master docker pull apache/superset:master 2.使用镜像启动对应的新服务(注意：name和本地映射目录不要和之前的superset重复) docker run -d -p 8088:8088 -v /opt/docker/superset:/home/superset --name superset amancevice/superset docker cp /etc/localtime 13fb148b
superset 0.30.0 数据库从 sqlite 迁移到 mysql
LancerWu的博客
02-19 1532
一开始测试的时候用的都是默认的设置，使用的是自带的sqlite的数据库，考虑到长远的使用来说，使用mysql更好一点，也方便操作，因此必需迁移之前的数据到mysql上面。 先从当前服务中导出数据： superset export_datasources -b -d -f datasources.yaml superset export_dashboards -f dashboards.json ...
1.superst数据迁移（元数据及看板数据）
kbhghbhk的博客
12-07 932
psql -U postgres -d superset -f db.sqllab （为防止出错可把superset数据库直接删除重建或只删除schema public重建）superset re-encrypt-secrets --previous-secret-key <之前的KEY>print(app.config['SECRET_KEY']) 获取SECRET_KEY。来到新的superset 同样位置 重新加密。1）数据导出 （psql为例）元数据及看板数据迁移完成。
基于Kettle+Clickhouse+Superset构建实时大数据
02-22
1、ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以掌握一个ETL工具的使用，必不可少。Kettle作为ETL工具是非常强大和方便的。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的，一款针对大数据实时分析的高性能分布式数据库，与之对应的有hadoop生态hive，Vertica和百度出品的palo。这是战斗民族继nginx后，又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题，当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高，按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1，数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3，而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库，主要提供了这几方面的功能：01、集成数据查询功能，支持多种数据库，包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等，并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表，满足大部分的数据展示功能。如果还有其他需求，也可以自开发更多的图表类型，或者嵌入其他的 JavaScript 图表库（如 HighCharts、ECharts）。03、提供细粒度安全模型，可以在功能层面和数据层面进行访问控制。支持多种鉴权方式（如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等）。 基于Kettle+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源工具，实现一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解，对电商数据的常见实战指标处理使用kettle等工具进行了详尽讲解，具体指标包括：流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。项目代码也是具有很高的商业价值的，大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术：开发工具为：IDEAKettleClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等 课程亮点：1.与企业对接、真实工业界产品2.强大的ETL工具Kettle全流程讲解实现3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操，提供全部代码和资料12.提供答疑和提供企业技术方案咨询 
SupersetBI迁移看板、数据
m0_63112723的博客
10-19 477
通常位于/.superset目录下，若找不到，可使用下述命令来搜索替换后刷新即迁移成功，正常无需重启服务。
superset db upgrade报错记录
qq_45808446的博客
10-18 930
将python升级到3.8版本的。至此，所有错误已全部解决。
Superset安装部署（docker版）
LuckyTHP
04-28 2131
因为Linux的python环境版本太低，而且一般是不能动系统自带的python环境，大部分都是通过conda或docker的形式创建一个新的python环境。tee至末尾EOF是一条命令,其中xxxxxxxx，是个人阿里云的加速地址。停止某个容器（superset为容器名或者容器ID号）创建存储superset数据配置所需文件夹。浏览器地址栏输入 IP:8088。查看已经创建的容器（包括未启动）添加docker源至镜像源中。配置docker加速拉取镜像。创建superset容器。初始化superset。
superset2.0在Windows环境和Linux环境下的安装配置
08-10
superset2.0在Windows环境和Linux环境下的安装配置
superset 二次开发 前端如何代码迁移
菜鸟成长记
05-29 2889
文章目录前言前端代码迁移 前言 superset的版本变迁，一直把前端的代码独立出去，前端项目叫 superset-ui 那如果二次开发过程中 想要修改某个图表前端代码怎么办？ 版本：superset 源码安装 36版本 前端代码迁移 本地前端开发环境搭建好的情况下 举例 透视表 pivot—table 组件迁移 cd superset-frontend/node_modules/@superset-ui 找到你想要迁移的组件库 ： 比如 legacy-plugin-chart-pivot-table c
CentOS7-之Superset安装
shufangreal的博客
09-25 1025
CentOS7-之Superset安装 1 准备工作，安装python环境 在不破坏linux原先的python2.7的情况下安装python3.7 1.1 安装miniconda 下载地址：https://docs.conda.io/en/latest/miniconda.html 选择Miniconda3 Linux 64-bit 这是一个开源的python的版本管理工具，与anaconda差不大，只是该工具中的包要少一些。 bash Miniconda3-latest-Linux-x86_64.sh
docker安装superset
weixin_39963973的博客
05-17 657
系统环境：centos 7 supserset版本：0.28.1 docker：直接yum就好 关闭防火墙 关闭selinux 启动docker systemctl start docker docker enable docker 首先创建两个superset使用文件夹 mkdir -p /opt/datas/docker/superset/conf mkdir -p /opt/datas/docker/superset/data 别下载最新版，我使用last版本，出了问题。不知道为啥，后来使用了0.28
superset二次开发 前端代码迁移
weixin_55230320的博客
07-31 1552
superset-ui(superset前端库) 前端代码迁移，例：将饼图的代码迁移到本地 1、查看superset\superset-frontend\src\visualizations\presets\MainPreset.js 找到{ key: ‘pie’ } => EchartsPieChartPlugin => ‘@superset-ui/plugin-chart-echarts’ 2、进入superset\superset-frontend\node_modules@superse
superset安装教程（转载）
ljb19910724的博客
05-17 992
B站教程：https://www.bilibili.com/video/BV1ia4y1s7yM 1、安装python3以上版本 cd /usr/local/src 下载文件 yum install wget wgethttps://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz（这里我已经提前下载，所以直接上传） 解压 tar -zxvf Python-3.6.0.tgz 进入解压目录 cd Python-3.6.0 编译安装包 ./configure -
将superset的元数据库从sqlite修改为mysql
xianhai_teng的博客
07-07 4799
在使用superset过程中，查看superset看板时经常会出现报错sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) database is locked，要多次刷新才能成功查看到看板，在网上查了一下原因，说是sqlite的问题，切换为mysql后不再出现这个问题，所以决定直接切换superset元数据库为mysql。 标题测试环境 Superet 0.35.1 MySQL 5.7.28 Navicat Premium 12.0.19
SuperSet 最新 Docker 部署文档（含元数据库切换、汉化、镜像导出）
ManWZD的博客
01-20 4918
SuperSet网上大部分文档还是 Python2 的部署方式，尤其是汉化，坑还有不少，使用最新docker镜像重新整理了一下。
Superset import接口使用样例
想到啥就写啥
03-08 3078
import接口使用
superset连接数据库，以及汉化
热门推荐
Quiet boy
03-23 2万+
superset连接数据库以及更改它的一些配置来汉化它 连接数据库 汉化 连接数据库1、安装数据库的依赖Superset没有自带的与数据库的连接，除了SQLite，它是 Python标准库的一部分。你需要安装你想要连接的数据库的依赖包，superset的一些用户信息，仪盘表，日志等各种信息在我们初始化superset的时候会存储在sqlite数据库里面，如果我们不想存储在sqlite数据库里面
superset和subset
最新发布
08-10
Superset和Subset是集合论中的两个术语，用于描述两个集合之间的关系： 1. Superset（超集）：如果集合A包含所有属于集合B的元素，并且A还可能包含B以外的其他元素，那么集合A被称为集合B的超集。表示为A⊇B。 2. Subset（子集）：相反地，如果集合B的所有元素都在集合A中，那么集合B是集合A的子集，表示为B⊆A。 这两个术语通常用来形容一种包含关系，可以帮助我们理解集合之间的相互位置及其特性。例如，在数据库查询或数据分析中，Superset可以指一个包含了另一个数据集所有内容的数据源，而Subset则是从这个大集中提取出的一部分特定信息。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值