hue 3.7.0安装部署

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自尝试使用，下面先通过官网给出的特性，通过翻译原文简单了解一下Hue所支持的功能特性集合：

• 默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
• 基于文件浏览器（File Browser）访问HDFS
• 基于Hive编辑器来开发和运行Hive查询
• 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
• 支持基于Impala的应用进行交互式查询
• 支持Spark编辑器和仪表板（Dashboard）
• 支持Pig编辑器，并能够提交脚本任务
• 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
• 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
• 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
• 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
• 支持Job设计器，能够创建MapReduce/Streaming/Java Job
• 支持Sqoop 2编辑器和仪表板（Dashboard）
• 支持ZooKeeper浏览器和编辑器
• 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

相关软件：

• Hue-3.7.0（branch-3.7.1）
• Hadoop-2.2.0
• Hive-0.14
• Python-2.7.5

操作系统为mac 10.9，依赖的包,安装我推荐使用mac强大的port，具体使用这里就不展开说了，大家可以google下对应的用法。

MacOS (mac port):

• liblxml
• libxml2
• libxslt
• mysql5-devel
• sqlite3

这里只介绍通过hue连接hive的使用方法，其他比如spark，mysql等会随着研究的深入进行添加。

(hadoop,hive等安装配置这里不再介绍)

基于上面的软件工具，要保证正确安装和配置。需要说明的是，我们通过Hue来执行Hive查询，需要启动HiveServer2服务。

bin/hiveserver2 

然后，执行如下命令进行Hue软件包的下载构建：

cd /usr/local/
sudo git clone https://github.com/cloudera/hue.git branch-3.7.1
sudo chown -R hadoop:hadoop branch-3.7.1/
cd branch-3.7.1/
make apps

上述过程如果没有任何问题，我们就已经安装好Hue。Hue的配置文件为/usr/local/branch-3.7.1/desktop/conf/pseudo-distributed.ini，默认的配置文件不能正常运行Hue，所以需要修改其中的内容，与我们对应的Hadoop集群配置相对应。该配置文件根据整合不同的软件，将配置分成多个段，每个段下面还有子段，便于管理配置，如下所示（省略子段名称）：

• desktop
• libsaml
• libopenid
• liboauth
• librdbms
• hadoop
• filebrowser
• liboozie
• oozie
• beeswax
• impala
• pig
• sqoop
• proxy
• hbase
• search
• indexer
• jobsub
• jobbrowser
• zookeeper
• spark
• useradmin
• libsentry

我们很容易根据需要来配置自己需要的内容。我们修改配置文件的情况，如下表所示：

Hue配置段	Hue配置项	Hue配置值	说明
desktop	default_hdfs_superuser	hadoop	HDFS管理用户
desktop	http_host	10.10.4.125	Hue Web Server所在主机/IP
desktop	http_port	8000	Hue Web Server服务端口
desktop	server_user	hadoop	运行Hue Web Server的进程用户
desktop	server_group	hadoop	运行Hue Web Server的进程用户组
desktop	default_user	yanjun	Hue管理员
hadoop/hdfs_clusters	fs_defaultfs	hdfs://hadoop6:8020	对应core-site.xml配置项fs.defaultFS
hadoop/hdfs_clusters	hadoop_conf_dir	/usr/local/hadoop/etc/hadoop	Hadoop配置文件目录
hadoop/yarn_clusters	resourcemanager_host	hadoop6	对应yarn-site.xml配置项yarn.resourcemanager.hostname
hadoop/yarn_clusters	resourcemanager_port	8032	ResourceManager服务端口号
hadoop/yarn_clusters	resourcemanager_api_url	http://hadoop6:8088	对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address
hadoop/yarn_clusters	proxy_api_url	http://hadoop6:8888	对应yarn-site.xml配置项yarn.web-proxy.address
hadoop/yarn_clusters	history_server_api_url	http://hadoo6:19888	对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address
beeswax	hive_server_host	10.10.4.125	Hive所在节点主机名/IP
beeswax	hive_server_port	10000	HiveServer2服务端口号
beeswax	hive_conf_dir	/usr/local/hive/conf	Hive配置文件目录

上面主要配置了Hadoop集群相关的内容，以及Hive（beeswax段配置的是Hive，通过HIveServer2与Hive交互）。
最后，启动Hue服务，执行如下命令：

cd /usr/local/branch-3.7.1/
build/env/bin/supervisor &

• Hue登录页面

Hue服务启动成功后，可以直接通过浏览器打开连接http://10.10.4.125:8000/，就可以登录。第一次打开，需要输入默认用户和口令，然后就可以登录进去，如下图所示：

首次登录，选择使用的用户即为Hue管理员用户，权限很大，可以添加用户并管理用户及其用户组的操作权限。

• Hue用户首页

登录成功以后，进入Hue Web控制台首页，如下图所示：

登录成功后，首先会执行一些基本环境的配置检查工作，它与我们实际修改配置时都指定了哪些应用有关系。

• Hive查询编辑器页面

用户登录成功后，选择Query Editors下面的Hive菜单项，如图所示：

在提交查询的时候，由于该查询执行时间较长，可以等待查询执行，最后结果显示在的现房的Results标签页上，也可以在执行过程中查看Hive后台执行情况。

• Job浏览器页面

通过Job浏览器（Job Browser）页面http://10.10.4.125:8000/jobbrowser/，可以查看运行在Hadoop集群上各种状态的Job，包括Succeeded、Running、Failed、Killed这4种状态，如图所示：

如果想要看到Job具体执行状态信息，需要正确配置并启动Hadoop集群的JobHistoryServer和WebAppProxyServer服务，可以通过Web页面看到相关数据，我们的示例，如图所示：

如果想看某个Job对应的MapTask或者ReduceTask执行情况，可以点击对应链接进去，和通过Hadoop YARN的Job Web管理界面类似，监控起来非常方便。

• 用户管理和授权认证

以授权管理员用户登录成功后，可以通过点击右上角用户（我这里是yanjun），下拉列表中有“Manage Users”菜单项，在这里面可以创建新用户，并指定访问权限，如下图所示：

上面，我创建了几个用户，并指定用户所属的组（Groups，支持组管理）。实际上，我们可以将不同的Hue应用设置为不同的组，然后将新建的用户分配到该相关组，通过这种方式可以控制用户访问Hue应用的权限。上面创建并分配权限的用户可以通过设置的用户名和口令登录Hue Web管理系统，与各种Hadoop相关的应用（不仅仅限于此，如MySQL、Spark等）进行交互。

总结

安装过程还是比较顺利的，希望大家可以参考我提供的软件包的版本，以免碰到不必要的麻烦。