记一次 Centos7.x 安装部署 Hue

本文链接：https://blog.csdn.net/llwy1428/article/details/111878705

在这里插入图片描述

一、基本信息

HUE = Hadoop User Experience

Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方式调用。

官网 https://gethue.com/
github https://github.com/cloudera/hue
oschina https://www.oschina.net/p/Hue?hmsr=aladdin1e1
review https://review.cloudera.org/r/

二、核心功能

SQL编辑器，支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…
搜索引擎Solr的各种图表
Spark和Hadoop的友好界面支持
支持调度系统Apache Oozie，可进行workflow的编辑、查看
在这里插入图片描述
从上图可以看出，Hue几乎可以支持所有大数据框架，包含有HDFS文件系统对的页面(调用HDFS API，进行增删改查的操作)，有HIVE UI界面(使用HiveServer2，JDBC方式连接，可以在页面上编写HQL语句，进行数据分析查询)，YARN监控及Oozie工作流任务调度页面等等。Hue通过把这些大数据技术栈整合在一起，通过统一的Web UI来访问和管理，极大地提高了大数据用户和管理员的工作效率。这里总结一下Hue支持哪些功能：

默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
基于文件浏览器（File Browser）访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板（Dashboard）
支持Pig编辑器，并能够提交脚本任务
支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
支持Job设计器，能够创建MapReduce/Streaming/Java Job
支持Sqoop 2编辑器和仪表板（Dashboard）
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
使用sentry基于角色的授权以及多租户的管理.（Hue 2.x or 3.x）

三、Hue操作数据

使用Hue可以以图形界面的形式创建solr集合，导入数据到Solr中，并建立数据查找索引。
提供了人性化的UI页面把数据从文件系统（比如Linux文件系统、HDFS）导入Hive中，导入的时候可以把数据转换成相应的Hive表，导入完成之后就可以直接使用Hive SQL查询刚刚导入的数据了。
使用Hue以图形界面的形式操作HDFS，包括导入、移动、重命名、删除、复制、修改、下载、排序、查看其中的数据等等操作。
Hue集成了Sqoop组件，这样就可以通过Hue把数据从其他文件系统批量导入到Hadoop中，或者从Hadoop中导出。
可以通过图形界面的方式操作HBase，可以导入数据到HBase中，可以通过UI界面进行相关的增加、删除和查询操作。

四、安装部署

1、安装 git 工具

[root@master ~]# yum install -y git

2、进入指定目录 /usr/bigdata/
如果没有 /usr/bigdata/ 目录，则创建

[root@master ~]# mkdir /usr/bigdata/

[root@master ~]# cd /usr/bigdata/

3、下载文件

[root@master bigdata]# git clone https://github.com/cloudera/hue.git

4、下载效果如下：
在这里插入图片描述
5、进入下载的 hue 文件目录

[root@master ~]# cd /usr/bigdata/hue

6、查看目录
在这里插入图片描述
7、进入 hue 的 desktop 目录

[root@master ~]# cd /usr/bigdata/hue/desktop/

8、查看目录下文件
在这里插入图片描述
9、进入 hue 的配置文件目录

[root@master ~]# cd /usr/bigdata/hue/desktop/conf

10、复制、重命名 pseudo-distributed.ini.tmpl 文件

[root@master conf]# cp pseudo-distributed.ini.tmpl pseudo-distributed.ini

11、修改 desktop/conf/pseudo-distributed.ini 文件，该文件是hue的全局配置文件。

[root@master conf]# vim pseudo-distributed.ini

12、编辑内容

[desktop]
	secret_key=cdd8dfb8-e47f-4f1f-bf80-e11ce49e33ea  	# 自定义唯一编码
    http_host=0.0.0.0									# 允许外部所有地址访问
    http_port=8000										# WEB 服务的端口
    time_zone=Asia/Shanghai								# 时区

13、系统安装基本工具

[root@master ~]# yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

14、安装配置 node 环境
（注意：2020-12-29 安装 hue 依赖 node 的 v8.17.0 版本，使用其他版本则编译不通过）
参考：https://blog.csdn.net/llwy1428/article/details/111880286
安装配置好 node 环境后，确保 node 版本为 v8.17.0

[root@master ~]# node -v
v8.17.0

15、配置 npm 淘宝镜像

[root@master ~]# npm install -g cnpm --registry=https://registry.npm.taobao.org

16、安装 nrm 组件，选择安装的 npm 镜像

[root@master ~]# npm install -g nrm

17、查看已存在的 npm 镜像

[root@master hue]# nrm ls

18、存在源列表

* npm -------- https://registry.npmjs.org/
  yarn ------- https://registry.yarnpkg.com/
  cnpm ------- http://r.cnpmjs.org/
  taobao ----- https://registry.npm.taobao.org/
  nj --------- https://registry.nodejitsu.com/
  npmMirror -- https://skimdb.npmjs.com/registry/
  edunpm ----- http://registry.enpmjs.org/

19、选择淘宝镜像

[root@master ~]# nrm use taobao
		Registry has been set to: https://registry.npm.taobao.org/

20、安装 hue 的 apps

[root@master ~]# cd /usr/bigdata/hue
[root@master hue]# make apps

安装过程中的部分截图如下：
在这里插入图片描述

注意：这一过程约 30分钟具体用时视服务器硬件条件而定。

21、系统增加 hue 用户

[root@master ~]# useradd hue

22、把 hue 目录递归授权

[root@master bigdata]# chown hue:root -R hue

23、控制台启动 supervisor

[root@master ~]# cd /usr/bigdata/hue
[root@master hue]# build/env/bin/supervisor

24、后台守护启动

[root@master hue]# nohup build/env/bin/supervisor  &

25、启动效果
在这里插入图片描述
26、查看服务启动后的端口占用 “8000”

五、浏览器查看 WEB UI

1、浏览器地址栏录入 192.168.11.21:8000 （说明：192.168.11.21 是部署 hue 启动 supervisor 的节点 IP）
效果如下
在这里插入图片描述
2、录入用户名、密码即为初始化的用户名密码
我这里录入了
username：hue
password：hue
进入后首页效果如下：