数仓4.0（可视化报表）

目录

一：Superset入门

1.1 Superset概述

1.2 Superset应用场景

 二：Superset安装及使用

2.1 安装Python环境

2.1.1 安装Miniconda

2.1.2 创建Python3.6环境

2.2 Superset部署

2.2.1 安装依赖

2.2.2 安装Superset

2.2.3 启动Supterset

三：Superset使用

3.1 对接MySQL数据源

3.1.1 安装依赖

3.1.2 重启Superset

3.1.3 数据源配置

四：superset初始化可能会出现的问题 

五：miniconda的卸载 

---

一：Superset入门

1.1 Superset概述

Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图表展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。

1.2 Superset应用场景

由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。

 二：Superset安装及使用

2.1 安装Python环境

Superset是由Python语言编写的Web应用，要求Python3.7的环境。

2.1.1 安装Miniconda

功能：切换不同的Python环境。

conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。

此处，我们不需要如此多的工具包，故选择MiniConda。

1）下载Miniconda（Python3版本）

下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2）安装Miniconda

（1）执行以下命令进行安装，并按照提示操作，直到安装完成。

[axing@hadoop102 lib]$ bash Miniconda3-latest-Linux-x86_64.sh

（2）在安装过程中，出现以下提示时，可以指定安装路径

 （3）出现以下字样，即为安装完成

3）加载环境变量配置文件，使之生效

[axing@hadoop102 lib]$ source ~/.bashrc

 4）取消激活base环境

Miniconda安装完成后，每次打开终端都会激活其默认的base环境，我们可通过以下命令，禁止激活默认base环境。

[axing@hadoop102 lib]$ conda config --set auto_activate_base false

2.1.2 创建Python3.6环境

（这里我试了一下，我创建3.7环境会报错，所以就用Python3.6）

1）配置conda国内镜像

(base) [axing@hadoop102 ~]$ conda config --add channels 
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
(base) [axing@hadoop102 ~]$ conda config --add channels 
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
(base) [axing@hadoop102 ~]$ conda config --set show_channel_urls yes

2）创建Python3.6环境

(base) [axing@hadoop102 ~]$ conda create --name superset python=3.6

---

说明：conda环境管理常用命令

创建环境：conda create -n env_name

查看所有环境：conda info --envs

删除一个环境：conda remove -n env_name --all

退出当前环境:  conda deactivate

---

3）激活superset环境

(base) [axing@hadoop102 ~]$ conda activate superset

2.2 Superset部署

2.2.1 安装依赖

安装Superset之前，需安装以下所需依赖

(superset) [atguigu@hadoop102 ~]$ sudo yum install -y gcc gcc-c++ 
libffi-devel python-devel python-pip python-wheel python-setuptools 
openssl-devel cyrus-sasl-devel openldap-devel

2.2.2 安装Superset

1）安装（更新）setuptools和pip

(superset) [axing@hadoop102 ~]$ pip install --upgrade setuptools pip 
-i https://pypi.douban.com/simple/

说明：pip是python的包管理工具，可以和centos中的yum类比

2）安装Supetset

(superset) [axing@hadoop102 ~]$ pip install apache-superset 
-i https://pypi.douban.com/simple/

说明：-i的作用是指定镜像，这里选择国内镜像

注：如果遇到网络错误导致不能下载，可尝试更换镜像

(superset) [axing@hadoop102 ~]$  pip install apache-superset --trusted-host 
https://repo.huaweicloud.com -i 
https://repo.huaweicloud.com/repository/pypi/simple

3）初始化Supetset数据库

(superset) [axing@hadoop102 ~]$ superset db upgrade

4）创建管理员用户

(superset) [axing@hadoop102 ~]$ export FLASK_APP=superset
(superset) [axing@hadoop102 ~]$ superset fab create-admin

说明：flask是一个python web框架，Superset使用的就是flask

5）Superset初始化

(superset) [axing@hadoop102 ~]$ superset init

2.2.3 启动Supterset

1）安装gunicorn

(superset) [axing@hadoop102 ~]$ pip install gunicorn 
-i https://pypi.douban.com/simple/

说明：gunicorn是一个Python Web Server，可以和java中的TomCat类比

2）启动Superset

(superset) [axing@hadoop102 ~]$ gunicorn --workers 5 --timeout 120 --bind 
hadoop102:8787  "superset.app:create_app()" --daemon

说明：

--workers：指定进程个数

--timeout：worker进程超时时间，超时会自动重启

--bind：绑定本机地址，即为Superset访问地址

--daemon：后台运行

---

（3）登录Superset

在web端访问hadoop102:8787，使用上面创建的管理员账号进行登陆。

3）停止superset

(superset) [axing@hadoop102 ~]$ ps -ef | awk '/superset/ && 
!/awk/{print $2}' | xargs kill -9

退出superset环境

(superset) [axing@hadoop102 ~]$ conda deactivate

三：Superset使用

3.1 对接MySQL数据源

3.1.1 安装依赖

(superset) [axing@hadoop102 ~]$ conda install mysqlclient

说明：对接不同的数据源，需安装不同的依赖，以下地址为官网说明

Installing Database Drivers | Superset

3.1.2 重启Superset

(superset) [aaxing@hadoop102 ~]$ superset.sh restart

3.1.3 数据源配置

1）Database配置

Step1：点击Data/Databases

Step2：点击＋DATABASE

Step3：点击填写Database及SQL Alchemy URI

注：SQL Alchemy URI编写规范：mysql://用户名:密码@主机名:端口号/数据库名称

此处填写：

mysql://root:123456@hadoop102:3306/gmall_report?charset=utf8

Step4：点击Test Connection，出现“Connection looks good!”提示即表示连接成功

Step5：点击ADD

2）Table配置

Step1：点击Data/Datasets

Step2：点击Data/ Datasets

Step3：配置Table

---

四：superset初始化可能会出现的问题 

可能很多人会在初始化Superset数据库时，会报错，正确执行页面是如下所示，

如果不是这个页面，可能是因为你的的markupsaft版本太高了，执行如下命令

pip uninstall markupsafe;python -m pip install markupsafe==2.0.1; 

markupsafe==2.0.1之后还报错，再输入pip install apache-superset==1.4.2就可以了

---

如果出现以下这个警告

这个不用担心，可以正常使用，只是pip没用升级的原因，但如果实在不顺眼，可以去网上搜搜如何升级pip。

---

五：miniconda的卸载 

1.首先知道miniconda的安装目录，我是把它放到了/opt/mudole/miniconda3

所以，先删除miniconda3文件夹

rm -rf /opt/mudole/miniconda3

2.然后打开~/.bashrc文件:

vim ~/.bashrc

将与conda有关的命令注释:

将如上信息用#都注释掉。

3. 重新激活一下

source ~/.bashrc

卸载完成。