Hue3.9 安装教程：华丽的Spark，Hadoop UI

Hue3.9

因网上没有一篇教程可以完全参照安装成功，我将我安装过程中遇到的问题集结起来，以及其他教程的精华部分整理好，内容如下：

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据,支持Spark编辑器和仪表板（Dashboard）,支持HBase浏览器，能够可视化数据、查询数据、修改HBase表等。

环境准备

CentOS6.6 ，提前预装maven，git，jdk7
同时在root下安装如下内容：

yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

下载源码

cd /opt/
git clone https://github.com/cloudera/hue.git

修改POM

vim /opt/hue/maven/pom.xml

1. 将Hadoop和Spark修改为相应的版本：

<hadoop-mr1.version>2.6.0</hadoop-mr1.version>
<hadoop.version>2.6.0</hadoop.version>
<spark.version>1.4.0</spark.version>

1. 将hadoop-core修改为hadoop-common（core会报错找不到）

<artifactId>hadoop-common</artifactId>

1. 将hadoop-test的版本改为1.2.1：

<artifactId>hadoop-test</artifactId>
<version>1.2.1</version>

4.将两个ThriftJobTrackerPlugin.java文件删除，分别在如下两个目录：

/opt/hue/desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/thriftfs/ThriftJobTrackerPlugin.java

/opt/hue/desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java

漫长的编译过程

cd /opt/hue
make apps

期间会提示spark-assembly_2.10：1.4.0.jar找不到的错误：

Failure to find org.apache.spark:spark-assembly_2.10:jar:1.4.0

由于maven仓库中没有这个jar包。所以我们需要将$SPAEK_HOME/lib中的spark-assembly-1.4.0-hadoop2.6.0.jar重命名为park-assembly-1.4.0.jar放到~/.m2/repository/org/apache/spark/spark-assembly_2.10/1.4.0/中即可!

初次启动

编译成功后，hue就可以运行了

/opt/hue/build/env/bin/supervisor

启动后通过浏览器访问8000端口。
虽然启动了，我们看到很多功能都报错，因为我们还没有为Hue进行正确的配置。

参数配置

vim desktop/conf/pseudo-distributed.ini
首先是desktop配置项：

配置项	内容	说明
default_hdfs_superuser	hadoop	HDFS管理用户
http_host	master	Hue Web Server所在主机/IP
http_port	8000	Web Server服务端口
server_user	hadoop	运行Hue Web Server的进程用户
server_group	hadoop	运行Hue Web Server的进程用户组
default_user	root	Hue管理员

HDFS的配置：

配置项	内容	说明
fs_defaultfs	hdfs://master:8020	HDFS管理用户
webhdfs_url	http://master:50070/webhdfs/v1	使用WebHdfs

Yarn的配置：

配置项	内容	说明
resourcemanager_host	master	对应yarn-site.xml配置项yarn.resourcemanage
resourcemanager_port	8032	ResourceManager服务端
resourcemanager_api_url	http://master:8088	对应于yarn-site.xml配置项yarn.resourcemanage
proxy_api_url	http://master:8888	对应yarn-site.xml配置项yarn.web-proxy.address
history_server_api_url	http://master:19888	对应mapred-site.xml配置项mapreduce.jobhistory.we

zookeeper配置

配置项	内容	说明
host_ports	master:2181,slave1:2181,slave2:2181	多个zookeeper逗号分隔

Hbase配置

配置项	内容	说明
hbase_clusters	(HBase	master:9090)

对接配置

HDFS

在NameNode的hdfs-site.xml增加如下配置：

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在NameNode的core-site.xml增加如下配置：

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

成功后如下图所示：
可以对文件进行删除，移动，下载，和预览，非常方便

YARN
不要修改yarn的配置，直接上效果图：
我们可以查看每个任务的运行情况

HBase
启动Thrift Server：

hbase thrift start 

我们可以通过hue查看所有的Hbase表，并且对内容进行查找，删除，更新等一系列操作