04、Apache Hue与软件的集成

1、Hue集成HDFS

注意:修改完HDFS相关配置之后，需要把配置scp给集群中每台集群，重启hdfs集群
第一步：修改core-site.xml配置 添加下面代码
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<!--允许通过httpfs方式访问hdfs的主机名 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--允许通过httpfs方式访问hdfs的用户组 -->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

第二步：修改hdfs-site.xml配置 添加下面代码
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

 <property>  
 <name>dfs.webhdfs.enabled</name>  <value>true</value>
 </property>

把修改的两个文件拷贝到另外两个节点路径上

 scp core-site.xml node02:$PWD
 scp core-site.xml node03:$PWD
 scp  hdfs-site.xml node02:$PWD
 scp hdfs-site.xml node03:$PWD

第三步：修改hue.ini
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini

 [[hdfs_clusters]]    [[[default]]]
 fs_defaultfs=hdfs://node01:8020
 webhdfs_url=http://node01:50070/webhdfs/v1
 ##集群上的hadoop安装路径
 hadoop_hdfs_home= /export/servers/hadoop-2.6.0-cdh5.14.0

hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin

hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

第四步：重启HDFS、Hue
cd /export/servers/hadoop-2.6.0-cdh5.14.0

sbin/stop-all.sh
sbin/start-all.sh

start-dfs.sh
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
在界面上查看得到hdfs里面的文件

2、Hue集成YARN

第一步：修改hue.ini
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini

[[yarn_clusters]]    
 [[[default]]]      
 resourcemanager_host=node01      resourcemanager_port=8032      
 submit_to=True      resourcemanager_api_url=http://node01:8088      history_server_api_url=http://node01:19888

第二步：开启yarn日志聚集服务
MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

 <property>  ##是否启用日志聚集功能。
 <name>yarn.log-aggregation-enable</name><value>true</value>
 </property>
 <property>  ##设置日志保留时间，单位是秒。<name>yarn.log-aggregation.retain-seconds</name><value>106800</value>
 </property>

第三步：Yarn、Hue
cd /export/servers/hue-3.9.0-cdh5.14.0/build/env/bin/supervisor

3、Hue继承Hive

如果需要配置hue与hive的集成，我们需要 启动hive的metastore服务以及hiveserver2服务（impala需要hive的metastore服务，hue需要hive的hiveserver2服务）
**第一步：**修改Hue.ini
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini

[beeswax]
  hive_server_host=node01
  hive_server_port=10000
  hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf
  server_conn_timeout=120
  auth_username=root
  auth_password=123456
[metastore]
  #允许使用hive创建数据库表等操作
  enable_new_create_table=true

**第二步：**启动Hive服务、重启hue
去node01机器上启动hive的metastore以及hiveserver2服务

cd /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &

重新启动hue。

cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

然后查看网页

4、Hue集成Mysql

**第一步：**修改hue.ini
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
需要把mysql的注释去掉，大概在1546行

[[[mysql]]]
      nice_name="My SQL DB"
      engine=mysql
      host=node01
      port=3306
      user=root
      password=123456

第二步：重启hue
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor