hue(04)、Hue集成Hive数据仓库

2019独角兽企业重金招聘Python工程师标准>>>

        在 hue(02)、Hue集成Hadoop集群(HDFS和YARN) 中我们在hue中集成了hdfs和yarn，可以很方便的在hue中操作hdfs中的数据和查看MapReduce的作业执行情况。本文我们将在hue中集成hive数据仓库，用替代hive自己的hwi服务，可以很方便的在hue中进行hive的sql查询等操作。

一、环境准备

1.hadoop集群服务

2.hive-mysql元数据库服务

3.hive服务

4.hue4.1

二、集成配置

打开hue的/desktop/conf/目录下的 pseudo-distributed.ini文件        

编辑pseudo-distributed.ini文件 ，找到[beeswax]这一节，修改信息连接为hdpc01的机器上的Hive数据仓库服务，修改信息如下：

hive_server_host=hdpc01

hive_server_port=10000

server_conn_timeout=120

list_partitions_limit=10000

query_partitions_limit=10

download_row_limit=100000

max_number_of_sessions=10

三、集成准备

1.启动hadoop集群

启动hadoop三台机器，然后在主节点机器上启动hadoop集群：start-all.sh

2.启动Hiveserver服务

在hive机器上启动hiveserver服务：hive --service hiveserver2 或者hive --service hiveserver2 &

3.启动Hive Metastore服务

在hive机器上启动Hive Metastore服务：hive --service metastore或者hive --service metastore &      

看到如下信息，说明启动完成：

4.启动Hue服务

在hue的/bulid/env/bin/目录下执行./supervisor 命令启动hue服务

5.验证启动

在终端输入jps -ml查看：

可以看到hadoop集群个hive服务启动都正常

四、集成验证及简单使用

登陆Hue服务，点击hive可以看到hive的默认default的库，和我们之前使用hive时建的表

查看hive表的详细信息，右击表点击Open in Browser在右边的Table Browser视图中，可以看到表的结构及字段自定义、部分数据等

点击columns标签可以看到表字段的详细信息

点击sample标签可以看到该表全部的数据信息

使用hue中的hive查询器查询hive表中的数据

在hue中还有更多可以操作hive的方式，大家可以自己尝试别的，本文先这么多基本的操作

五、问题总结

1.hue提示Could not start SASL: Error in sasl_client_start (-4) SASL(-4)的异常

问题原因：因为系统缺少了相关的依赖

解决办法：我们在hue所在主机安装以下的依赖

yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

6、文末总结

        文本的使用hue连接操作hive数据仓库比较之前hive自己的hwi功能更强大，同时hue支持更多的应用，集成在一起更像是一个操作、监控为一体的平台化的工具，在后面的文章我们还继续去使用hue集成HBase、mysql、oracle等

转载于:https://my.oschina.net/zss1993/blog/1613527