大数据项目离线数仓（全）三（可视化工具版）

本文仅仅包含可视化的工具版，其他内容请关注我的博客！在<项目>专栏里！！！

本篇文章参考尚硅谷大数据项目写成！

可视化的代码版后期更新！敬请期待！！！

目录

工具可视化（superset）

介绍：

一、安装准备

1.1安装Miniconda

二、安装配置

2.1安装Miniconda

2.2安装python3.6环境

 2.3配置superset

2.4启动superset

三、superset制作可视化

3.1数据源配置

 3.2 制作仪表盘

 3.3创建图表

 3.4整体可视化配置信息

完成样式

---

工具可视化（superset）

介绍：

Superset概述

Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。

Superset应用场景

由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。

一、安装准备

Superset是由Python语言编写的Web应用，要求Python3.6的环境。

1.1安装Miniconda

（1）介绍：

Anaconda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。

我们不需要如此多的工具包，所以选择MiniConda。

（2）下载Miniconda（Python3版本）

官网：

https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

我的网盘：

链接：https://pan.baidu.com/s/1zZ1tmUwQ_Rbig_hnYd-43w?pwd=kjky 
提取码：kjky

二、安装配置

2.1安装Miniconda

（1）执行以下命令进行安装，并按照提示操作，直到安装完成

 bash Miniconda3-latest-Linux-x86_64.sh

安装路径：/root/miniconda3

 

 

 出现Thank you for installing Miniconda3!表示安装完成！

（2）加载环境变量配置文件，使之生效

 source ~/.bash_profile
或者
source ~/.bashrc

（3）取消激活base环境

Miniconda安装完成后，每次打开终端都会激活其默认的base环境，我们可通过以下命令，禁止激活默认base环境。

conda config --set auto_activate_base false

2.2安装python3.6环境

（1）配置conda国内镜像

conda config --add channels https://mirrors.tuna.t singhua.edu.cn/anaconda/pkgs/free

conda config --add channels https://mirrors.tuna.t singhua.edu.cn/anaconda/pkgs/main

conda config --set show_channel_urls yes

 （2）创建python3.6环境

conda create --name superset python=3.6

（3）激活superset环境

conda activate superset

注：conda deactivate（退出superset）

注：以下都是在superset环境下进行

（4）执行 python 命令查看 python 版本

退出：quit();

 2.3配置superset

（1）安装部署

注：安装Superset之前，需安装以下所需依赖

sudo yum install -y python-setuptools

sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

（2）安装superset

1）安装/更新setuptools和pip

 注：pip是python的包管理工具，可以和centos中的yum类比

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

 2）安装Superset

注：：-i的作用是指定镜像，这里选择国内镜像

 pip install apache-superset -i https://pypi.douban.com/simple/

 3）初始化Supetset数据库

注：可能会出现版本问题，要先下载sqlalchemy和dataclasses

pip install sqlalchemy==1.3.24

pip install dataclasses

superset db upgrade

4）创建管理员用户

export FLASK_APP=superset

flask fab create-admin

注：用户名和密码自定

注：flask是一个python web框架，Superset使用的就是flask

5）Superset初始化

superset init

2.4启动superset

1）安装gunicorn

注：gunicorn是一个Python Web Server，可以和java中的TomCat类比

pip install gunicorn -i https://pypi.douban.com/simple/

2）启动Superset

注：确保当前conda环境为superset，前面是（superset）字样；

注：hadoop01:8787是我的主机名和端口号

gunicorn --workers 5 --timeout 120 --bind hadoop01:8787  "superset.app:create_app()" --daemon 

说明：

--workers：指定进程个数

--timeout：worker进程超时时间，超时会自动重启

--bind：绑定本机地址，即为Superset访问地址

--daemon：后台运行

3）停止superset

停掉gunicorn进程

ps -ef | awk '/superset/ && !/awk/{print $2}' | xargs kill -9

退出superset环境

conda deactivate

4）superset启停脚本

（1）创建superset.sh文件

vim superset.sh

添加内容如下：

注：记得更改miniconda3的路径

#!/bin/bash

superset_status(){
    result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`
    if [[ $result -eq 0 ]]; then
        return 0
    else
        return 1
    fi
}
superset_start(){
        # 该段内容取自~/.bashrc，所用是进行conda初始化
        # >>> conda initialize >>>
        # !! Contents within this block are managed by 'conda init' !!
        __conda_setup="$('/root/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
        if [ $? -eq 0 ]; then
            eval "$__conda_setup"
        else
            if [ -f "/root/miniconda3/etc/profile.d/conda.sh" ]; then
                . "/root/miniconda3/etc/profile.d/conda.sh"
            else
                export PATH="/root/miniconda3/bin:$PATH"
            fi
        fi
        unset __conda_setup
        # <<< conda initialize <<<
        superset_status >/dev/null 2>&1
        if [[ $? -eq 0 ]]; then
            conda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop01:8787 --daemon 'superset.app:create_app()'
        else
            echo "superset正在运行"
        fi

}

superset_stop(){
    superset_status >/dev/null 2>&1
    if [[ $? -eq 0 ]]; then
        echo "superset未在运行"
    else
        ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
    fi
}


case $1 in
    start )
        echo "启动Superset"
        superset_start
    ;;
    stop )
        echo "停止Superset"
        superset_stop
    ;;
    restart )
        echo "重启Superset"
        superset_stop
        superset_start
    ;;
    status )
        superset_status >/dev/null 2>&1
        if [[ $? -eq 0 ]]; then
            echo "superset未在运行"
        else
            echo "superset正在运行"
        fi
esac

（2）加执行权限

chmod +x superset.sh

（3）测试

启动superset

superset.sh start

停止superset

superset.sh stop

5）登录Superset

访问http://hadoop01:8787，并使用2.2.2节中第4步创建的管理员账号进行登录。

6）下载mysql依赖

conda install mysqlclient

注：对接不同的数据源，需安装不同的依赖，官网有说明

官网：http://superset.apache.org/installation.html#database-dependencies

7）重启

superset.sh restart

三、superset制作可视化

说明：

使用MySQL数据源；

把ADS层的数据导出到MySQL，用于可视化制作！

sqoop导出数据到MySQL_一个人的牛牛的博客-CSDN博客

注：可以更改语言

3.1数据源配置

把ADS层数据导出到MySQL，用于可视化。

sqoop导出数据到MySQL_一个人的牛牛的博客-CSDN博客

（1）database配置

1）点击database，点击+号添加

2）填写Database及SQL Alchemy URI

注：SQL Alchemy URI编写规范：mysql://账号:密码@IP/数据库名称

点击Test Connection，出现“Seems Ok！”提示即表示连接成功

下拉到最下面保存配置

 

 （2）table配置

1）点击Datasets，点击+号添加

添加Database ，添加Table Name 

 保存

 3.2 制作仪表盘

（1）点击Dashboards，点击+号添加

 （2）输入Title名，然后保存

 3.3创建图表

（1）点击Charts，点击+号添加

 （2）添加数据源，图表类型，然后创建

 图表类型

 （3）配置图表

注意看配置，前面添加的配置会显示

 （4）保存图表，并将其添加到仪表盘

 

 （5）编辑仪表盘

 运用行列调整

 

 下面这些位置可以调整大下

（6）设置刷新时间

 3.4整体可视化配置信息

 

 最后调整，这个过程有一点繁琐，一定要有耐心！

加油IT人！！！

完成样式

作者水平低，如有错误，恳请指正！谢谢！！！

注：

数据资料来源于尚硅谷