HUE集成apach hadoop

2019独角兽企业重金招聘Python工程师标准>>>

1 修改配置文件：

vim desktop/conf/pseudo-distributed.ini

[hadoop]  

  [[hdfs_clusters]]  

    # HA support by using HttpFs   

    [[[default]]]  

      fs_defaultfs=hdfs://hadoop01:9000  #对应core-site.xml  

      webhdfs_url=http://hadoop01:50070/webhdfs/v1   #对应HA的HttpFs 

hadoop_conf_dir='/opt/hadoop-2.6.4/etc/hadoop'

hadoop_hdfs_home='/opt/hadoop-2.6.4'

----------------------------------

如果集群使用MR1提交job则配置mapred_clusters，否则配置yarn_clusters（MR2），二者选其一

[[yarn_clusters]]

[[[default]]]

# Enter the host on which you are runningthe ResourceManager

#对应yarn-site.xml中的 yarn.resourcemanager.address

resourcemanager_host=192.168.204.111

resourcemanager_port=8040

# Whether to submit jobs to this cluster

submit_to=True #标明使用MR2提交job

# URL of the ResourceManager API

#对应yarn-site.xml中的 yarn.resourcemanager.webapp.addres

resourcemanager_api_url=http://192.168.204.111:8088

 

[[mapred_clusters]]

# HA support by specifying multiple configs

[[[default]]]

submit_to=False #标明不使用MR1提交job

 

2 配置HDFS

配置Hadoop集群的hdfs-site.xml，添加如下参数：

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

配置Hadoop集群的core-site.xml，添加如下参数：

<property>

<name>hadoop.proxyuser.hue.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hue.groups</name>

<value>*</value>

</property>

如果HUE安装在hadoop集群之外的服务器则需要启动HttpFS server，并配置httpfs-site.xml添加以下内容：

<property>

<name>httpfs.proxyuser.hue.hosts</name>

<value>*</value>

</property>

<property>

<name>httpfs.proxyuser.hue.groups</name>

<value>*</value>

</property>

--------------------------- 启动-----------------

转载于:https://my.oschina.net/zlhblogs/blog/902658