hue大数据操作可视化工具

hue大数据操作可视化工具

一. hue安装

1、下载hue地址

https://github.com/cloudera/hue/releases/tag/release-4.7.1

2、下载相关编译依赖

[root@node2 servers]# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync

3、解压 hue-release-4.7.1.tar.gz

[root@node2 servers]# tar -zxvf hue-release-4.7.1.tar.gz 

4、cd到hue目录执行编译安装

需要等一会

 PREFIX=/export/servers/hue-release-4.7.1 make install

5、配置环境变量

[root@node2 hue-release-4.7.1]# vim /etc/profile

[root@node2 hue-release-4.7.1]# source /etc/profile

二. 集成hdfs

1、配置core-site.xml

<!--设置代理用户hue-->
<property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
</property>

2、配置hdfs-site.xml

<!--设置hdfs操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

3、配置mapred-site.xml

<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

4、修改hue/desktop/conf目录下的pseudo-distributed.ini.tmpl文件

注意莫要 偷懒 粘贴复制 我yarn和hdfs不在一个节点

注意莫要 偷懒 粘贴复制 我yarn和hdfs不在一个节点

注意莫要 偷懒 粘贴复制 我yarn和hdfs不在一个节点

说三遍

[desktop]
# 为了安全起见，指定在会话存储中用于安全哈希的秘密密钥
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
# 设置CherryPy web 服务器绑定所有已配置IP地址上的端口8000
http_host=0.0.0.0
http_port=8000
# 设置时区为亚洲/上海
time_zone=Asia/Shanghai

[hadoop]
  [[hdfs_clusters]]
    [[[default]]]
      # 设置文件系统uri
      fs_defaultfs=hdfs://node2:8020
      # 设置HadoopWebUI的url
      webhdfs_url=http://node2:9870/webhdfs/v1
      # 设置Hadoop指定目录
      hadoop_conf_dir=/export/servers/hadoop-3.0.0/etc/hadoop
      hadoop_hdfs_home=/export/servers/hadoop-3.0.0
      hadoop_bin=/export/servers/hadoop-3.0.0/bin
  [[yarn_clusters]]
    [[[default]]]
      # 设置resourcemanager所在节点的主机名
      resourcemanager_host=node2
      # 设置resourcemanager的IPC监听端口
      resourcemanager_port=8032
      # 设置resourcemanager的WebUI的url
      resourcemanager_api_url=http://node2:8088
      # 设置代理服务器WebUI的url
      proxy_api_url=http://node2:8088
      # 设置任务历史服务器WebUI的url
      history_server_api_url=http://node2:19888

5、重启yarn和hdfs

最后执行

nohup supervisor >~/hue-run.log 2>&1 &

最后IP加8000访问

== 第一次登陆就是注册要记住账号密码 ==