CentOS和Ubuntu系统下安装 HttpFS （助推Hue部署搭建）

不多说，直接上干货！

　　我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然后，安装目录是在/home/hadoop/app下。

 

　　官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4

 需要编译才能使用（联网）


　说给大家的话：大家电脑的配置好的话，一定要安装cloudera manager。毕竟是一家人的。
同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，做好心里准备。废话不多说，因为我目前读研，自己笔记本电脑最大8G，只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的！ 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

 

 

 

　　因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。

　　HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的API用来管理HDFS。

 

 

　　这是官网文档

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4/manual.html#_install_hue

 

 

 

 

一、CentOs系统下安装HttpFS

 　　跟如下一样

 

 

二、Ubuntu系统下安装HttpFS

1 集群环境

　　Ubuntu-14.10

　　openjdk-7

　　hadoop-2.6.0 HA(双NN)

　　hue-3.9.0-cdh5.5.4

 

 

2 安装

　　因为hadoop中自带了httpfs所以，这里不需要下载其他包，只需要进行一下配置

 

　　　　

　　在各个机器的$HADOOP_HOME/etc/hadoop/

<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>

　　注意：httpfs.proxyuser.hadoop.hosts第二个是启动httpfs的用户名

 　　同时，还要配置WebHdfs，别忘记啦！

　　在core-site.xml 和 hdfs-site.xml下，添加如下

 

 

　　core-site.xml下

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

 

 

 

 

 　　hdfs-site.xml下

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

 

 

 

 　　到此配置完毕，启动httpfs，进入hadoop sbin下，运行

httpfs.sh start

　　启动成功后jps会多一个Bootstrap 进程。

　　浏览器访问http://localhost:14000/ 
　　页面显示：HttpFs service, service base URL at /webhdfs/v1. 根目录为：/webhdfs/v1

 

 

 

 

参考

http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html