Hue全能手册：从零搭建及避坑全指南

一、背景

Hue是一个开源的Apache Hadoop UI系统
通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

二、Hue作用

1. 访问HDFS和文件浏览
2. 通过web调试和开发hive以及数据结果展示
3. 查询solr和结果展示，报表生成
4. 通过web调试和开发impala交互式SQL Query
5. spark调试和开发
6. Pig开发和调试
7. oozie任务的开发，监控，和工作流协调调度
8. Hbase数据查询和修改，数据展示
9. Hive的元数据（metastore）查询
10. MapReduce任务进度查看，日志追踪
11. 创建和提交MapReduce，Streaming，Java job任务
12. Sqoop2的开发和调试
13. Zookeeper的浏览和编辑
14. 数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示

HUE服务矩阵图

三、安装步骤

1. 上传解压安装包（优先选择有mysql节点）

Hue的安装支持多种方式，包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等，我们这里使用tar.gz包的方式来进行安装。

• Hue的压缩包的下载地址：
  http://archive.cloudera.com/cdh5/cdh/5/
• 本案例版本是CDH5.14.0，具体下载地址为
  http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
  cd /export/servers/

tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz

2. 编译初始化工作

3.2.1 联网安装各种必须的依赖包

yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel

3.2.2 Hue初始化配置

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
	vim  hue.ini

通用配置文件

[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=node-1
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
[[database]]
engine=mysql
host=node-1
port=3306
user=root
password=Hadoop
name=hue

3.2.3 创建mysql中Hue使用的DB

create database hue default character set utf8 default collate utf8_general_ci;

3. 编译Hue

cd /export/servers/hue-3.9.0-cdh5.14.0
make apps

编译成功之后，会在hue数据库中创建许多初始化表。

4. 启动Hue、Web UI访问

cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

页面访问路径：

http://node-1:8888

若想关闭Hue ,直接在窗口ctrl+c即可。

四、实战案例：千亿级日志平台

1. 故障现象

• Hue页面频繁502错误
• Hive查询进度条卡在20%

2. 根因分析

3. 最终配置

[beeswax]  
worker_threads=200  # 原默认值50  
query_timeout=3600  # 超时延长至1小时  

[desktop]  
[[kerberos]]  
reinit_frequency=3600  # 避免票据过期  

大数据组件安装文章（推荐）

1. 架构搭建：
   中小型企业大数据平台全栈搭建：Hive+HDFS+YARN+Hue+ZooKeeper+MySQL+Sqoop+Azkaban 保姆级配置指南

2. Azkaban安装部署：Azkaban千亿级调度实战：从高可用部署到弹性扩缩容的避坑指南（附智能熔断脚本+执行引擎压测报告）

3. Sqoop安装部署：Sqoop生产级迁移圣经：从部署到调优的避雷指南（附亿级数据校验脚本+智能重试策略）

4. Zookeeper安装部署：Zookeeper安装部署

5. Flume安装部署：Flume万级吞吐实战手册：从安装到调优的避坑指南（附一键部署脚本+智能降级方案）

6. Impala安装部署：Impala安装部署

7. HBase安装部署：HBase的集群环境搭建