hue与hadoop的HDFS以及yarn集成
1 更改所有hadoop节点的core-site.xml配置
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
2 更改所有hadoop节点的hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
3 重启hadoop集群
在node01机器上面执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh
更改之后要重启hdfs与yarn集群。
4 停止hue的服务,并继续配置hue.ini
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
配置我们的hue与hdfs集成
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://node01.hadoop.com:8020
webhdfs_url=http://node01.hadoop.com:50070/webhdfs/v1
hadoop_hdfs_home=/export/servers/hadoop-2.6.0-cdh5.14.0
hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin
hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
配置我们的hue与yarn集成
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=node01
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node01:8088
history_server_api_url=http://node01:19888
配置hue与hive集成
如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)
更改hue的配置hue.ini
修改hue.ini
[beeswax]
hive_server_host=node03.hadoop.com
hive_server_port=10000
hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf
server_conn_timeout=120
auth_username=root
auth_password=123456
[metastore]
#允许使用hive创建数据库表等操作
enable_new_create_table=true
启动hive的metastore服务
node03启动hive的metastore以及hiveserver2服务
cd /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
重新启动hue,然后就可以通过浏览器页面操作hive了
配置hue与impala的集成
停止hue的服务进程
修改hue.ini配置文件
[impala]
server_host=node03
server_port=21050
impala_conf_dir=/etc/impala/conf
配置hue与mysql的集成
找到databases 这个选项,将这个选项下面的mysql注释给打开,然后配置mysql即可
[[[mysql]]]
nice_name="My SQL"
engine=mysql
host=node03
port=3306
user=root
password=123456
重新启动hue的服务
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
解决hive以及impala执行权限不足的问题
在我们hive当中执行任意的查询,只要是需要跑MR的程序,就会报错,发现权限不够的异常
需要给hdfs上面的几个目录执行权限即可
hdfs dfs -chmod o+x /tmp
hdfs dfs -chmod o+x /tmp/hadoop-yarn
hdfs dfs -chmod o+x /tmp/hadoop-yarn/staging
或者我们可以这样执行
hdfs dfs -chmod -R o+x /tmp