hive->spark->mysql->可视化(superset免费的,第三方企业开发商用版本 bi帆软,smartbi)
1.Superset概述:
Apache Superset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。
由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具。
2.安装
Superset官网地址:http://superset.apache.org/
2.安装Superset
2.1 安装Python环境
Superset是由Python语言编写的Web应用,要求Python3.6的环境。虚拟机自带的2.6的版本,不能使用,所以要配置3.6的环境。但是安装python之前要先安装Miniconda,它可以管理不同版本的pytjon.
2.1.1 安装Miniconda
conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同Python版本的软件包及其依赖,并能够在不同的Python环境之间切换,Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。
此处,我们不需要如此多的工具包,只是用来管理不同版本的Python环境,故选择MiniConda。
1)下载Miniconda(Python3版本)
下载地址:https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
2)安装Miniconda(需要连网)
(1)将Miniconda3-latest-Linux-x86_64.sh上传到/opt/module/路径
(2)执行以下命令进行安装,并按照提示操作,直到安装完成。
[hadoop@bigdata02 module]$ bash Miniconda3-latest-Linux-x86_64.sh
(3)一直按回车键,直到出现Please answer 'yes' or 'no':'
Please answer 'yes' or 'no':'
>>> yes
(4)指定安装路径(根据用户需求指定):/opt/module/miniconda3
[/home/hadoop/miniconda3] >>> /opt/module/miniconda3
(5)是否初始化Miniconda3,输入yes
Do you wish the installer to initialize Miniconda3
by running conda init? [yes|no]
[no] >>> yes
(6)出现以下字样,即为安装完成
Thank you for installing Miniconda3!
3)加载环境变量配置文件,使之生效
(1)配置环境变量
[hadoop@bigdata02 miniconda3]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
export CONDA_HOME=/opt/module/miniconda3
export PATH=$PATH:$CONDA_HOME/bin
(2)source一下环境变量或者重启一下连接虚拟机的客户端
[hadoop@bigdata02 miniconda3]$ source /etc/profile.d/my_env.sh
4)取消激活base环境
Miniconda安装完成后,每次打开终端都会激活其默认的base环境,我们可通过以下命令,禁止激活默认base环境。
[hadoop@bigdata02 ~]$ conda config --set auto_activate_base false
2.1.2 创建Python3.6环境
1)配置conda国内镜像(清华)
[hadoop@bigdata02 ~]$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
[hadoop@bigdata02 ~]$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
[hadoop@bigdata02 ~]$ conda config --set show_channel_urls yes
2)创建Python3.6环境
[hadoop@bigdata02 ~]$ conda create --name superset python=3.6