Superset可视化详细教程

00dk

已于 2023-09-19 22:15:11 修改

阅读量963

点赞数 1

文章标签： python 开发语言

于 2023-06-04 21:20:33 首次发布

本文链接：https://blog.csdn.net/wy_dsk/article/details/131027873

版权

本文介绍了在CentOS7系统中如何安装和配置Superset2.0，包括安装Miniconda来管理Python环境，创建Python3.9环境，安装依赖，处理多个依赖冲突问题，初始化Superset数据库，创建管理员用户，以及使用gunicorn启动和停止Superset服务。整个过程涉及环境配置、包管理、错误排查等技术环节。

摘要由CSDN通过智能技术生成

写在前面：

在CentOS7下安装superset2.0成功

安装Python环境

安装Miniconda

conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。

此处，我们不需要如此多的工具包，故选择MiniConda。

1. 下载Miniconda（Python3版本）:http://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2. 安装Miniconda

（1）执行命令 bash Miniconda3-latest-Linux-x86_64.sh 期间可以指定安装路径

（2）出现以下表示安装成功

（3）加载环境变量配置文件，执行如下命令

source ~/.bashrc

（4）取消激活base环境

Miniconda安装完成后，每次打开终端都会激活其默认的base环境（在输入命令的前面会多出一个(base)），我们可以通过以下命令禁止激活默认的base环境

conda config --set auto_activate_base false

创建Python3.9环境

注意时python3.9环境，否则可能到后面会出现依赖冲突等一系列问题

（1）配置conda国内镜像，执行命令如下三条

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --set show_channel_urls yes

（2）创建superset环境并指定python3.9

conda create --name superset python=3.9

说明：conda环境管理常用命令

创建环境：conda create -n env_name

查看所有环境：conda info --envs

删除一个环境：conda remove -n env_name --all

（3）激活superset环境

conda activate superset

激活后，命令行的前面会出现(superset)，即表示当前的环境为superset，可以通过python -V 查看python环境

退出当前环境的命令为：

conda deactivate

Superset部署

注意要先切换到superset环境，之后的操作都是在superset环境下进行

安装依赖

（1）安装Superset之前，需安装以下所需依赖

sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel python setuptools openssl-devel cyrus-sasl-devel openldap-devel

（2）安装（更新）setuptools和pip

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

说明：pip是python的包管理工具，可以和centos中的yum类比

安装Superset

pip install apache-superset==2.0.0 -i https://pypi.douban.com/simple/

说明：-i的作用是指定镜像，这里选择国内镜像

注意，这里如果爆出大量红，显示的是遇到了网络问题，就反复执行该命令直至成功

初始化Superset数据库

superset db upgrade

错误多发地段

这条命令注定难成功

可能遇到的问题如下：

1. ModuleNotFoundError: No module named'cryptography.hazmat.backends.openssl.x509'

它说没有这个模块，但是执行pip install cryptography，结果却告诉我们已经安装了

原因是版本不对，换版本

(1) 先删掉原来的版本

pip uninstall cryptography

(2) 安装3.3.2版本

pip install cryptography==3.3.2 -i https://pypi.douban.com/simple/

原本这里我查到的是告诉我装2.9.2的版本的，但是执行安装2.9.2版本的命令的时候报错如下

它说apache-superset 2.0.0 要求cryptography的版本>=3.3.2，所以这里我们安装3.3.2版本的 cryptography

2. 成功完成以上步骤后再次执行初始化Superset数据库命令，结果又报错，如下

解决方法，执行以下命令，即可

export FLASK_APP=superset

3. 完成后再次执行初始化Superset数据库命令，结果又报错，ModuleNotFoundError: No module named 'werkzeug.wrappers.etag'

它说这个什么模块没找到，又是依赖冲突问题，先卸载原来的，执行如下命令

python -m pip uninstall -y Werkzeug

再安装一个2.0.3版本的Werkzeug，执行如下命令

python -m pip install Werkzeug==2.0.3

结果它报错，如下

他说flask 2.3.2版本的要求 Werkzeug的版本要>=2.3.3，于是我又尝试安装2.3.3版本的Werkzeug，但是还是不行

这里要先改掉flask的版本，所以要先删掉原来的flask和Werkzeug，执行如下两个卸载命令

python -m pip uninstall -y Flask
python -m pip uninstall -y Werkzeug

再安装flask 2.0.3版本，执行如下命令

python -m pip install Flask==2.0.3

完成后再安装Werkzeug 2.0.3 版本

python -m pip install Werkzeug==2.0.3

都完成后，再次执行初始化Superset数据库的命令，结果又报错，ModuleNotFoundError: No module named 'wtforms.ext'，它说又有一个这个什么模块没有找到

还是依赖冲突的问题，先卸载原来的，再装新的，执行如下命令

python -m pip uninstall -y WTForms

python -m pip install WTForms==2.3.3

完成后再次执行初始化Superset数据库命令，这次我的成功了，输出一些INFO信息

创建管理员用户

执行如下命令

export FLASK_APP=superset

superset fab create-admin

执行第二个命令的时候会提示我们设置Username,User first name,User last name,Email,Password这几个信息Username和Password这两个必须设置，后面登录要用到，其他的可以不用设置，直接回车就行

说明：flask是一个python web框架，Superset使用的就是flask

Superset初始化

执行如下命令

superset init

启动Superset

安装gunicorn

执行如下命令

pip install gunicorn -i https://pypi.douban.com/simple/

说明：gunicorn是一个Python Web Server，可以和java中的TomCat类比

启动Superset

首先要确保当前的conda的环境为superset，启动命令如下

gunicorn --workers 5 --timeout 120 --bind hadoop102:8787  "superset.app:create_app()" --daemon

说明：

--workers：指定进程个数

--timeout：worker进程超时时间，超时会自动重启

--bind：绑定本机地址，即为Superset访问地址

--daemon：后台运行

登录Superset

访问http://hadoop102:8787，如下

这个账号和密码是之前执行命令 'superset fab create-admin' 的时候设置的

停止Superset

1. 停掉gunicorn进程

ps -ef | awk '/superset/ && !/awk/{print $2}' | xargs kill -9

2.退出superset环境

conda deactivate

Superset启停脚本

在/bin/目录下创建superset.sh脚本

#!/bin/bash 
 
superset_status(){ 
    result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l` 
    if [[ $result -eq 0 ]]; then 
        return 0 
    else 
        return 1 
    fi 
} 
superset_start(){ 
        source ~/.bashrc 
        superset_status >/dev/null 2>&1 
        if [[ $? -eq 0 ]]; then 
            conda activate superset ; gunicorn --workers 5 -
timeout 120 --bind hadoop102:8787 --daemon 
'superset.app:create_app()' 
        else 
            echo "superset正在运行" 
        fi 
 
} 
 
superset_stop(){ 
    superset_status >/dev/null 2>&1 
    if [[ $? -eq 0 ]]; then 
        echo "superset未在运行" 
    else 
        ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs 
kill -9 
    fi 
} 
 
 
case $1 in 
    start ) 
        echo "启动Superset" 
        superset_start 
    ;; 
    stop ) 
        echo "停止Superset" 
        superset_stop 
    ;; 
    restart ) 
        echo "重启Superset" 
        superset_stop 
        superset_start 
    ;; 
    status ) 
        superset_status >/dev/null 2>&1 
        if [[ $? -eq 0 ]]; then 
            echo "superset未在运行" 
        else 
            echo "superset正在运行" 
        fi 
esac

改权限，执行如下命令