1. Hue是什么
HUE=Hadoop User Experience
Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。
通过使用Hue,可以在浏览器端的Web控制台上与Hadoop集群进行交互,来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。
2. Hue能做什么
1.访问HDFS和文件浏览
2.通过web调试和开发hive以及数据结果展示
3.查询solr和结果展示,报表生成
4.通过web调试和开发impala交互式SQL Query
5.spark调试和开发
6.Pig开发和调试
7.oozie任务的开发,监控,和工作流协调调度
8.Hbase数据查询和修改,数据展示
9.Hive的元数据(metastore)查询
10.MapReduce任务进度查看,日志追踪
11.创建和提交MapReduce,Streaming,Java job任务
12.Sqoop2的开发和调试
13.Zookeeper的浏览和编辑
14.数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示
3. Hue的架构
Hue是一个友好的界面集成框架,可以集成各种大量的大数据体系软件框架,通过一个界面就可以做到查看以及执行所有的框架。
Hue提供的这些功能相比Hadoop生态各组件提供的界面更加友好,但是一些需要debug的场景可能还是要使用原生系统才能更加深入的找到错误的原因。
三、 Hue的安装
1. 上传解压安装包
Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等,我们这里使用tar.gz包的方式来进行安装。
Hue的压缩包的下载地址:
http://archive.cloudera.com/cdh5/cdh/5/
我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为
http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
cd /export/servers/
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz
2. 编译初始化工作
2.1. 联网安装各种必须的依赖包
yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel
1.1. Hue初始化配置
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=node-1
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
[[database]]
engine=mysql
host=node-1
port=3306
user=root
password=Hadoop
name=hue
2.3. 创建mysql中Hue使用的DB
create database hue default character set utf8 default collate utf8_general_ci;
3. 编译Hue
cd /export/servers/hue-3.9.0-cdh5.14.0
make apps
编译成功之后,会在hue数据库中创建许多初始化表。
4. 启动Hue、Web UI访问
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
页面访问路径:http://node-1:8888
第一次访问的时候,需要设置超级管理员用户和密码。记住它。
若想关闭Hue ,直接在窗口ctrl+c即可。
四、 Hue与软件的集成
1. Hue集成HDFS
注意修改完HDFS相关配置后,需要把配置scp给集群中每台机器,重启hdfs集群。
1.1