黑猴子的家：Hue 与 HDFS集成

1、梳理集群环境

linux01	linux02	linux03
NameNode
DataNode	DataNode	DataNode
	ResourceManager
NodeManager	NodeManager	NodeManager
JobHistoryServer
Zookeeper	Zookeeper	Zookeeper
Hmaster	Hmaster
RegionServer	RegionServer	RegionServer

2、配置HDFS

hdfs-site.xml

<!-- 浏览器可以查看 -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    <description>Enable WebHDFS (REST API) in Namenodes and Datanodes.</description>
</property>

<!-- 权限检查根据情况配置-hue -->
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

core-site.xml

<property>
    <name>hadoop.proxyuser.victor.hosts</name>
    <value>*</value>
</property>
<!-- 尖叫提示：victor此处是用户名-->

<property>
    <name>hadoop.proxyuser.victor.groups</name>
    <value>*</value>
</property> 
<!-- 尖叫提示：victor此处是用户名-->

<!-- 如果你的Hadoop配置了高可用，则必须通过httpfs来访问，需要添加如下属性，反则则不必须。
（如果HUE服务与Hadoop服务不在同一节点，则必须配置）-->
<property>
    <name>hadoop.proxyuser.httpfs.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.httpfs.groups</name>
    <value>*</value>
</property>

httpfs-site.xml

<!-- 尖叫提示：此处就是hue,不换-->
<property>
    <name>httpfs.proxyuser.hue.hosts</name>
    <value>*</value>
</property>

<!-- 尖叫提示：此处就是hue,不换-->
<property>
    <name>httpfs.proxyuser.hue.groups</name>
    <value>*</value>
</property>

<!-- 
解释：以上两个属性主要用于HUE服务与Hadoop服务不在同一台节点上所必须的配置。
尖叫提示：
* 如果没有配置NameNode的HA，HUE可以用WebHDFS来管理HDFS
* 如果配置了NameNodeHA，则HUE只可用HttpFS来管理HDFS-->

3、scp同步配置

[root@node1 hadoop]$ scp -r etc/ root@node2:/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/
[root@node1 hadoop]$ scp -r etc/ root@node3:/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/

△4、启动hadoop httpfs服务

[root@node1 hadoop]$ sbin/httpfs.sh start

5、配置hue.ini文件

文件位置：/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini

<!-- 找到[hadoop]标签 -->

[[hdfs_clusters]]
    # HA support by using HttpFs
    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://hadoop102:9000 
      # fs_defaultfs=hdfs://mycluster
      ##标红处 根据自己的端口 9000

      # NameNode logical name.
      # 如果开启了高可用，需要配置如下
      ## logical_name=mycluster

      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      ## webhdfs_url=http://localhost:50070/webhdfs/v1
      webhdfs_url=http://hadoop102:14000/webhdfs/v1
      # Change this if your HDFS cluster is Kerberos-secured
      ## security_enabled=false

      # Default umask for file and directory creation, specified in an octal value.
      ## umask=022

      # Directory of the Hadoop configuration
      ## hadoop_conf_dir=$HADOOP_CONF_DIR when set or '/etc/hadoop/conf'
      hadoop_conf_dir=/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
      hadoop_hdfs_home=/opt/module/cdh/hadoop-2.5.0-cdh5.3.6
      hadoop_bin=/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin

6、测试

开启Hue服务

[root@node1 hue]$ build/env/bin/supervisor

打开HUE的页面，进行HDFS管理。

如果提示错误根目录应该归属于hdfs，请修改python变量，位置如下
/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py
修改其中的变量值为

DEFAULT_HDFS_SUPERUSER = 'victor'

此处为用户名 victor或 ... ,然后重启HUE服务即可。

[root@node1 hue]$ build/env/bin/supervisor

启动HUE服务时，请先kill掉之前的HUE服务，如果提示地址被占用，请使用如下命令查看占用8888端口的进程并kill掉

[root@node1 hue]$  netstat -tunlp | grep 8888