大数据框架 | Hue与软件的集成

一、Hue集成HDFS

注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。

1.1 修改core-site.xml配置

 1.2 修改hdfs-site.xml配置

1.3．修改hue.ini 

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vim hue.ini

 1.4．重启HDFS、Hue

start-dfs.sh

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

 二、Hue集成YARN

2.1 修改hue.ini

2.2．开启yarn日志聚集服务

MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。

 2.3．重启Yarn、Hue

三、Hue集成Hive 

如果需要配置hue与hive的集成，我们需要启动hive的metastore服务以及hiveserver2服务（impala需要hive的metastore服务，hue需要hvie的hiveserver2服务）。

3.1．修改Hue.ini

 3.2．启动Hive服务、重启hue

去node-1机器上启动hive的metastore以及hiveserver2服务

cd /export/servers/hive

nohup bin/hive --service metastore &

nohup bin/hive --service hiveserver2 &

重新启动hue。 

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

 

 

四、Hue集成Mysql 

4.1．修改hue.ini

需要把mysql的注释给去掉。 大概位于1546行

 4.2．重启hue

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

五、Hue集成Oozie

5.1．修改hue配置文件hue.ini 

 

 5.2 启动hue、oozie

启动hue进程

cd /export/servers/hue-3.9.0-cdh5.14.0

build/env/bin/supervisor

启动oozie进程

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozied.sh start

页面访问hue

http://node-1:8888/

5.3 使用hue配置oozie调度

hue提供了页面鼠标拖拽的方式配置oozie调度

5.4．利用hue调度shell脚本

在HDFS上创建一个shell脚本程序文件。

 

 

打开工作流调度页面。

 

 

 

 

5.5．利用hue调度hive脚本 

在HDFS上创建一个hive sql脚本程序文件。

 打开workflow页面，拖拽hive2图标到指定位置。

 

 5.6．利用hue调度MapReduce程序

利用hue提交MapReduce程序

 

5.7．利用Hue配置定时调度任务 

在hue中，也可以针对workflow配置定时调度任务，具体操作如下：

 

一定要注意时区的问题，否则调度就出错了。保存之后就可以提交定时任务。

 点击进去，可以看到定时任务的详细信息。

 六、Hue集成Hbase 

6.1．修改hbase配置

在hbase-site.xml配置文件中的添加如下内容，开启hbase thrift服务。修改完成之后scp给其他机器上hbase安装包。

6.2．修改hadoop配置

在core-site.xml中确保 HBase被授权代理，添加下面内容。

把修改之后的配置文件scp给其他机器和hbase安装包conf目录下。 

6.3．修改Hue配置 

 

6.4．启动hbase(包括thrift服务)、hue 

需要启动hdfs和hbase，然后再启动thrift。

start-dfs.sh

start-hbase.sh

hbase-daemon.sh start thrift

重新启动hue。 

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

七、Hue集成Impala 

7.1．修改Hue.ini

7.2．重启Hue 

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor