一、Hue是什么?
HUE=Hadoop User Experience
Hue 是运营和开发Hadoop应用的图形化用户界面。Hue程序被整合到一个类似桌面的环境,以web程序的形式发布。
它是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,是基于Python Web框架Django实现的,下面是它的架构:
它支持哪些功能呢?
默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为MySQL、Postgresql,以及Oracle
基于文件浏览器(File Browser)访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用,并提供可视化的数据视图,以及仪表板(Dashboard)
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板(Dashboard)
支持Pig编辑器,并能够提交脚本任务
支持Oozie编辑器,可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器,能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器,可以访问Hive的元数据,以及HCatalog
支持Job浏览器,能够访问MapReduce Job(MR1/MR2-YARN)
支持Job设计器,能够创建MapReduce/Streaming/Java Job
支持Sqoop 2编辑器和仪表板(Dashboard)
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
使用sentry基于角色的授权以及多租户的管理.(Hue 2.x or 3.x)
总而言之,有了Hue,我们就可以使用更加友好的可视化页面来管理我们的Hadoop相关框架。
二、Hue的安装
这里我的环境是Cent OS 6.5,使用的Hue版本为hue-3.7.0-cdh5.3.6。
我们接下来会通过下载Hue的源码包并编译来进行安装,但因为编译涉及到安装很多的依赖,我这里也提供我的已经编译好的安装包的下载:
链接:https://pan.baidu.com/s/1ExnxQDQbKB0XeK8V8SXBMw
提取码:us32
下载解压这个压缩包后就已经安装完毕,可以跳过下面的2、3步骤。当然也推荐大家选择手动编译安装。
1.下载安装包并解压
如果大家选择自行编译,我推荐大家可以在官网下载CDH的发行版,比较稳定。http://archive.cloudera.com/cdh5/cdh/5/大小应该是三十多M左右。
tar -zxvf hue-3.7.0-cdh5.3.6.tar.gz -C 目的目录
解压好。
2.安装依赖(下载上面链接可以略过)
这里是官网所描述的各个linux版本的依赖包,对于Redhat或CentOS的用户可以直接复制这个命令:
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
一键安装所有依赖。
但我更为推荐的是大家先用rpm -qa | grep -i xxx
命令先来检查自己有没有已经安装一些包。
如果有用CentOS 6的同学在2020年12月后使用yum安装可能会报错,参考yum报错找不到源的解决方法。
3.编译
进入解压好的hue目录make apps
等待数分钟即可食用。
三、修改配置
进入Hue的解压目录下的desktop下的conf文件夹,修改hue.ini
中的如下项:
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=主机名
http_port=8888
time_zone=Asia/Shanghai
四、启动Hue
提示:下载我的编译好的代码的朋友请将其解压到/opt/app
下否则会报路径错误
进入安装目录下:build/env/bin/supervisor
启动Hue,这里可能有朋友会报错:
解决这种错误的方法就是切换到一个普通用户启动Hue就好。
启动成功的情况应当是:
我们进入浏览器的主机名:8888
端口查看
创建一个用户后进入管理界面
到这一步,我们的Hue算是初步安装完成了,从中可以看到它提示我们几个错误,是因为那些框架的配置我们还没有添加,后续配置会发布在后续文章中。