Hue的安装部署

Hue简介

Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。

HUE官方地址http://gethue.com/

Hue安装

下载github上的文件进行编译

这里我已经编译好了，所以编译的过程省略

启动Hue

cd /alljar/hue/hue-master/build/env/bin/
#启动hue服务，其中要保证端口号不被占用
./hue runserver ip:端口号

启动完成以后可以去对应的网址查看，输入hue，hue登录，登录成功后就可以进行下一步配置

Hadoop搭建

进入hue的配置文件进行编辑
注意配置文件不是hue.ini

cd /alljar/hue/hue-master/desktop/conf/
vi pseudo-distributed.ini

修改fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:14000/webhdfs/v1
端口号一定要是14000
hadoop_conf_dir为hadoop的配置目录，一般为etc/hadoop下面
把下面勾掉的地方全部换成master的ip地址
注意下面内容无需更改，不要去掉注释

下面配置访问hdfs用户，首先查看/属于谁

hdfs dfs -getfacl /

我这里属于root，那么修改下面内容为
default_hdfs_superuser=root(在里边搜索找到这个配置选项即可)

最后去HADOOP_CONF_DIR配置一下httpfs-site.xml,如下

<configuration>
   <property>
        <name>httpfs.proxyuser.hue.hosts</name>
        <value>*</value>
   </property>
   <property>
        <name>httpfs.proxyuser.hue.groups</name>
        <value>*</value>
   </property>
</configuration>

配置core-site.xml,添加如下内容：

 <property>
        <name>hadoop.proxyuser.hue.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hue.groups</name>
        <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.admin.hosts</name>
         <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.admin.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.httpfs.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.httpfs.groups</name>
        <value>*</value>
    </property>

重启Hadoop集群后，开启httpfs.sh服务

httpfs.sh start

这时候，hadoop配置完成，可以重启hue去网页查看。

输入登陆密码之后可以点击查看，可以看到我们之前在50070端口看到的内容


到这里HADOOP配置完成

HBase配置

Hbase配置十分简单，修改localhost为masterip地址，并且把hbase_conf_dir修改为hbase-site.xml所在目录

配置完成之后，只需要开启master的thrift服务即可，开启后重启hue

重启hue，在登陆hue查看，可以看到我们的hbase

hive配置

把划红线部分替换成hive配置的ip地址，这里大部分人为master，conf_dir换成hive-site.xml所在目录

这里很重要，如果你的hive版本高于3写11，如果是2那就写7
启动master的hiveserver2之后，我们去重启hue，看看会发生什么
这时候我们可以看到我们的数据库，然后我们尝试去运行一下hive命令


我们发现，hive命令已经可用；但是可能会出现下面的情况

这是由于hue默认的sqlite3导致的，下面我们修改为mysql
修改配置文件，其中host为master的ip，并且注意修改的位置

重启hue此时mysql配置成功

Spark 配置

hue与spark的集成使用livy server进行中转，livy server类似于hive server2。提供一套基于restful风格的服务，接受client提交http的请求，然后转发给spark集群。livy server不在spark的发行包中，需要单独下载。

下载链接，注意下载新版本
http://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.5.0-incubating/

解压Livy，添加环境变量等略过

配置Livy

在第一步我们要在conf同级目录下创建一个logs目录用来存放日志，否则启动livy时会报错
进入conf目录

 cp livy-env.sh.template  livy-env.sh
 cp livy.conf.template livy.conf
 cp spark-blacklist.conf.template  spark-blacklist.conf

首先编辑 livy-env.sh添加一些环境变量

然后编辑livy.conf文件，盖掉的是你自己的ip地址，我们配置模式为spark on yarn

编辑spark-blacklist.conf
这里一定注释掉spark.master！
然后spark.yarn.jars指定为你们配置spark on yarn模式时存放jar包的位置

然后启动Livy，由于我们配置了环境变量所以这样启动

livy-server

我们最后去配置一下hue的配置文件，这些ip填写自己的IP

我们去重启hue，尝试使用spark

我们看到出现了结果
我们再尝试一下提交jar包到spark上


我们看到spark运行jar包成功，至此spark配置完成。

完成