16 hue框架使用

16 hue框架使用

1.hue介绍

HUE=Hadoop User Experience
主要用于与我们其他各个框架进行整合，例如hdfs，mapreduce，hive，impala，oozie，spark
整合完成之后，只需要在我们hue这一个框架提供的web界面里面就可以操作我们所有其他的框架
HUE链接

Site: http://gethue.com/
Github: https://github.com/cloudera/hue
Reviews: https://review.cloudera.org

hue架构

hue的主体架构：

UI：前端的管理界面
hue server：运行的一个tomcat
hueDB：数据库存储，存放我们提交的一些任务信息，保存的一些执行信息

hue的核心功能：

sql编辑器：可以支持各种框架的sql的执行
支持hive，mysql，oracel，PostgreSQL，impala，SparkSQL，Solr SQL等等各种框架的sql
搜索引擎Solr的各种图表
Spark和Hadoop的友好界面支持
支持调度系统Apache Oozie，可进行workflow的编辑、查看

HUE中查看Oozie workflow时，也可以很方便的看到整个workflow的DAG图，不过在最新版本中已经将DAG图去掉了，只能看到workflow中的action列表和他们之间的跳转关系，想要看DAG图的仍然可以使用oozie原生的界面系统查看。

1，访问HDFS和文件浏览 
2，通过web调试和开发hive以及数据结果展示 
3，查询solr和结果展示，报表生成 
4，通过web调试和开发impala交互式SQL Query 
5，spark调试和开发 
7，oozie任务的开发，监控，和工作流协调调度 
8，Hbase数据查询和修改，数据展示 
9，Hive的元数据（metastore）查询 
10，MapReduce任务进度查看，日志追踪 
11，创建和提交MapReduce，Streaming，Java job任务 
12，Sqoop2的开发和调试 
13，Zookeeper的浏览和编辑 
14，数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示

Hue是一个友好的界面集成框架，可以集成我们各种学习过的以及将要学习的框架，一个界面就可以做到查看以及执行所有的框架

2.hue安装

第一步：下载Hue的压缩包并上传到linux解压

Hue的压缩包的下载地址：

http://archive.cloudera.com/cdh5/cdh/5/

我们这里使用的是CDH5.14.0这个对应的版本，具体下载地址为

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

下载然后上传到linux系统，然后进行解压

cd /export/softwares/
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/

第二步：编译安装启动

1.linux系统安装依赖包：

yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

2.开始配置Hue:

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vi hue.ini (用notepad++改，不会错)

#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5