数据交互工具 HUE

最新推荐文章于 2024-08-14 16:00:28 发布
最新推荐文章于 2024-08-14 16:00:28 发布
阅读量619 收藏 3
点赞数 1
分类专栏： hive 大数据 文章标签： 大数据 hue集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42749734/article/details/113064714
版权

第一部分 Hue概述

Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由Cloudera Desktop 演化而来，由 Cloudera 贡献给开源社区，它是基于 Python Web 框架 Django 实现的。通过使用 Hue 可以在浏览器端的 Web 控制台上与Hadoop 集群进行交互来分析处理数据，例如操作 HDFS 上的数据，运行MapReduce Job 等等。Hue所支持的功能特性集合：

  • 默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
  • 基于文件浏览器（File Browser）访问HDFS
  • 基于Hive编辑器来开发和运行Hive查询
  • 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
  • 支持基于Impala的应用进行交互式查询
  • 支持Spark编辑器和仪表板（Dashboard）
  • 支持Pig编辑器，并能够提交脚本任务
  • 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
  • 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
  • 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
  • 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
  • 支持Job设计器，能够创建MapReduce/Streaming/Java Job
  • 支持Sqoop 2编辑器和仪表板（Dashboard）
  • 支持ZooKeeper浏览器和编辑器
  • 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

一句话总结：Hue是一个友好的界面集成框架，可以集成我们各种学习过的以及将要学习的框架，一个界面就可以做到查看以及执行所有的框架。

在这里插入图片描述
类似的产品还有 Apache Zeppelin。

第二部分 Hue编译安装

Hue官方网站：https://gethue.com/
HUE官方用户手册：https://docs.gethue.com/
官方安装文档：https://docs.gethue.com/administrator/installation/install/
HUE下载地址：https://docs.gethue.com/releases/

Hue的安装并不是那么简单，官方并没有编译好的软件包，需要从github上下载源码、安装依赖、编译安装。以下详细讲解Hue下载、编译、安装的操作过程。

安装Hue的节点上最好没有安装过MySQL，否则可能有版本冲突，这里选择将Hue安装在 linux122 上。

1、下载软件包、上传、解压(hue-release-4.3.0.zip、apache-maven-3.6.3-bin.tar.gz)
2、安装依赖包
3、安装maven
4、hue编译
5、修改hadoop配置
6、修改hue配置
7、启动hue服务

2.1、下载软件包

到官方网站下载 hue-release-4.3.0.zip；上传至服务器，并解压缩

yum install unzip
unzip hue-release-4.3.0.zip

2.2、安装依赖

# 需要Python支持(Python 2.7+ / Python 3.5+)
python --version
# 在 CentOS 系统中安装编译 Hue 需要的依赖库
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel pythondevel sqlite-devel gmp-devel



yum install -y rsync

备注：
以上依赖仅适用CentOS/RHEL 7.X，其他情况请参考https://docs.gethue.com/adm
inistrator/installation/dependencies/
安装Hue的节点上最好没有安装过MySQL，否则可能有版本冲突
安装过程中需要联网，网络不好会有各种奇怪的问题

2.3、安装Maven

编译 Hue 还需要 Maven 环境，因此在编译前需要安装 Maven。
下载 apache-maven-3.6.3-bin.tar.gz，上传虚拟机解压缩，添加环境变量

vi /etc/profile
# 添加环境变量
export MAVEN_HOME=/opt/lagou/servers/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
source /etc/profile
# 验证安装
mvn --version

2.4、编译

# 进入 hue 源码目录，进行编译。 使用 PREFIX 指定安装 Hue 的路径
cd /opt/lagou/software/hue-release-4.3.0
PREFIX=/opt/lagou/servers make install
cd /opt/lagou/servers
# 如果想把HUE从移动到另外一个地方，由于HUE使用了Python包的一些绝对路径,移动之
后则必须执行以下命令：
# 这里不要执行
rm app.reg
rm -r build
make apps

备注：这一步持续的时间比较长，还会从网上下载 jar；需要联网

2.5、修改 Hadoop 配置文件

在 hdfs-site.xml 中增加配置

<!-- HUE -->
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.permissions.enabled</name>
	<value>false</value>
</property>

在 core-site.xml 中增加配置

<!-- HUE -->
<property>
	<name>hadoop.proxyuser.hue.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.hue.groups</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.hdfs.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.hdfs.groups</name>
	<value>*</value>
</property>

增加 httpfs-site.xml 文件，加入配置

<configuration>
<!-- HUE -->
<property>
	<name>httpfs.proxyuser.hue.hosts</name>
	<value>*</value>
</property>
<property>
	<name>httpfs.proxyuser.hue.groups</name>
	<value>*</value>
</property>
</configuration>

备注：修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs服务。

2.6、Hue配置

# 进入 Hue 安装目录
cd /opt/lagou/servers/hue
# 进入配置目录
cd desktop/conf
# 复制一份HUE的配置文件，并修改复制的配置文件
cp pseudo-distributed.ini.tmpl pseudo-distributed.ini
vi pseudo-distributed.ini

# [desktop]
http_host=linux122
http_port=8000
is_hue_4=true
time_zone=Asia/Shanghai
dev=true
server_user=hue
server_group=hue
default_user=hue
# 211行左右。禁用solr，规避报错
app_blacklist=search
# [[database]]。Hue默认使用SQLite数据库记录相关元数据，替换为mysql
engine=mysql
host=linux123
port=3306
user=hive
password=12345678
name=hue
# 1003行左右，Hadoop配置文件的路径
hadoop_conf_dir=/opt/lagou/servers/hadoop-2.9.2/etc/hadoop

# 在mysql中创建数据库hue，用来存放元数据
mysql -uhive -p12345678
mysql> create database hue;
# 初始化数据库
build/env/bin/hue syncdb
build/env/bin/hue migrate
# 检查数据

2.7、启动 Hue 服务

# 增加 hue 用户和用户组
groupadd hue
useradd -g hue hue
# 在hue安装路径下执行
build/env/bin/supervisor

启动时会报错：是为创建hue用户，可参考
https://blog.csdn.net/weixin_44388193/article/details/103146690

在浏览器中输入：linux122:8000，可以看见以下画面，说明安装成功。
第一次访问的时候，需要设置超级管理员用户和密码。记住它(hue/123456)。

第三部分 Hue整合Hadoop、Hive

修改参数文件 /opt/lagou/servers/hue/desktop/conf/pseudo-distributed.ini

3.1 集成HDFS、YARN

# 211 行。 没有安装 Solr，禁用，否则一直报错
app_blacklist=search
# [hadoop] -- [[hdfs_clusters]] -- [[[default]]]
# 注意端口号。下面语句只要一个
# fs_defaultfs=hdfs://linux121:8020
fs_defaultfs=hdfs://linux121:9000

webhdfs_url=http://linux121:50070/webhdfs/v1
# 211 行
hadoop_conf_dir=/opt/lagou/servers/hadoop-2.9.2/etc/hadoop
# [hadoop] -- [[yarn_clusters]] -- [[[default]]]
resourcemanager_host=linux123
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://linux123:8088
proxy_api_url=http://linux123:8088
history_server_api_url=http://linux123:19888

3.2 集成Hive

集成Hive需要启动 Hiveserver2 服务，在linux123节点上启动 Hiveserver2

# [beeswax]
hive_server_host=linux123
hive_server_port=10000
hive_conf_dir=/opt/lagou/servers/hive-2.3.7/conf

3.3 集成MySQL

# [librdbms] -- [[databases]] -- [[[mysql]]]；1639行
# 注意：1639行原文： ##[[mysql]] => [[mysql]]；两个##要去掉!
[[[mysql]]]
nice_name="My SQL DB"
name=hue
engine=mysql
host=linux123
port=3306
user=hive
password=12345678

备注：name是数据库名，即 database 的名称

3.4 重启Hue服务

ctrl+z 停止./supervisor

在这里插入图片描述

然后用kill 杀死进程

中文报错：

(1366, “Incorrect string value: ‘\xE3\x80\x81\xE6\x8C\x89…’ for column ‘search’ at row 1”)

【原因分析】
HUE 的元数据库字符编码问题

【解决方法】
在hue的元数据库中以依次执行如下语句：

alter database hue character set latin1;

use hue;

alter table beeswax_queryhistory modify `query` longtext character set utf8 collate utf8_general_ci not null;

alter table desktop_document2 modify column name varchar(255) character set utf8;

alter table desktop_document2 modify column description longtext character set utf8;

alter table desktop_document2 modify column search longtext character set utf8;
微毂
关注
专栏目录
VS2017项目改为VS2010
yuuzhao的博客
04-06 904
VS2017项目改为VS20102021-06-03 17:16:18 将.sln的前四行改为 Microsoft Visual Studio Solution File, Format Version 11.00 Visual Studio 2010 VisualStudioVersion = 12.0.21005.1 MinimumVisualStudioVersion = 10.0.40219.1 Listbox Control 控件的简单使用 https://blog.csdn.net/qq_334
在PHP中使用CURL，“撩”服务器只需几行——php curl详细解析和常见大坑
weixin_34129145的博客
08-09 1453
七夕啦，作为开发，妹子没得撩就“撩”下服务器吧，妹子有得撩的同学那就左拥妹子右抱服务器吧，况且妹子是要礼物的，服务器又不用。好啦，长话短说再长说，祭出今天的工具——CURL(Client URL Library)，当然今天以PHP的方式来使用这件工具。 0. curl是个什么东西 PHP supports libcurl, a libra...
Ubuntu18.04安装OpenCV4.3.0和环境配置(支持编译CUDA并安装配置python-opencv)
盼小辉丶的博客
07-16 3473
Ubuntu18.04安装OpenCV4.3.0和环境配置，支持编译CUDA并安装配置python-opencv。
curlfile扩展 php_Linux下安装PHP curl扩展的方法详解
weixin_29696567的博客
12-23 94
本文实例讲述了Linux下安装PHP curl扩展的方法。分享给大家供大家参考，具体如下：今天开发时遇到这样的一个问题，就是如何在Linux下安装PHP的curl扩展，我的LNMP环境都是原先进行编译安装了的，不是使用YUM方式安装的。我的环境：Linux：CentOs 6.4PHP：5.6.30解决方法：1、进入PHP源码目录，就是之前将PHP下载到服务器并解压的地址cd /usr/local/...
Ubuntu18.04，opencv-4.3.0和opencv_contrib-4.3.0安装（填坑）
博客
06-29 1463
如果觉得本篇文章对您的学习起到帮助作用，请关注评论，留下您的足迹💪💪💪本文主要Ubuntu18.04安装opencv-4.3.0和opencv_contrib-4.3.0，坑巨多，因此记录以备日后查看，同时，如果能够帮助到更多人，也不胜荣幸。
3.2.4 数据交互工具 -- HUE、数据采集工具 -- Flume
weixin_47134119的博客
02-07 1304
文章目录数据交互工具 -- HUE第一部分 Hue概述第二部分 Hue编译安装2.1、下载软件包2.2、安装依赖2.3、安装Maven2.4、编译2.5、修改 Hadoop 配置文件2.6、Hue配置2.7、启动 Hue 服务第三部分 Hue整合Hadoop、Hive3.1 集成HDFS、YARN3.2 集成Hive3.3 集成MySQL3.4 重启Hue服务数据采集工具 -- Flume第一部分 Flume概述第 1 节 Flume的定义第 2 节 Flume体系结构Flume架构中的组件第 3 节 F.
Python-Hue一个开源的AnalyticsWorkbench用于浏览查询和可视化数据
08-12
Python-Hue 是一个强大的数据分析和可视化工具，它简化了与 Hadoop 集群的交互，提供了直观的界面和丰富的功能。通过 Hue，用户可以更高效地探索、查询和呈现大数据，推动企业的数据驱动决策。对于希望提升数据处理...
数仓生态圈辅助工具 -- Hue Sqoop Oozie Presto
Alfie的博客
07-12 456
本文主要内容是关于大数据分析交互平台Hue,数据迁移工具Sqoop和工作流调度工具Oozie.掌握这些工具的使用有助于我们更好地学习大数据知识.
hue-3.7.0-cdh5.3.6
06-26
`metastore` 目录涉及Hue与Hive元数据的交互。Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hue的metastore服务允许用户通过图形界面浏览和管理Hive的表和...
Hadoop集群交互界面：Hue用户指南
这个工具是用Python的Django Web框架构建的，设计目的是让用户能够通过浏览器轻松地与Hadoop集群进行交互，执行各种数据分析和处理任务。 Hue的主要功能包括： 1. **Beeswax Hive Editor**：提供了一个直观的界面...
PHP_CURL上传文件
01-31
PHP CURL 上传文件~~
php curl file,PHP curl_file_create函数
weixin_31968831的博客
03-10 572
(PHP 5 >= 5.5.0)curl_file_create — 创建一个 CURLFile 对象。说明CURLFile curl_file_create ( string $filename [, string $mimetype [, string $postname ]] )创建一个 CURLFile 对象, 用与上传文件。参数filename上传文件的路径mimetype文件的M...
Ubuntu18.04安装opencv和opencv_contrib
qq_41661197的博客
08-31 3095
Ubuntu18.04安装opencv_4.4.0和opencv_contrib_4.4.0
Hue - 开源的交互式分析工具
gitblog_00069的博客
03-16 451
Hue - 开源的交互式分析工具 去发现同类优质开源项目:https://gitcode.com/ Hue 是一个开源的交互式分析工具，它提供了一个可视化界面来查询和管理数据。通过 Hue，您可以轻松地浏览、搜索、编辑和运行 SQL 查询，并将结果以图表的形式展示出来。此外，您还可以创建和分享仪表板，与团队成员协作。 功能特性 SQL 编辑器 Hue 提供了一个强大的 SQL 编辑器，支持多种数...
Ubuntu18.04安装opencv-python
最新发布
weixin_43638873的博客
08-14 147
在使用命令pip install opencv-python安装的是最新版本，我用的python3.6版本，查了下，不支持3.6版本。我就去找了个支持的如opencv-python==4.3.0.38。当然我也是有Python 3.6.9的。但是默认是Python2.7.17。前面提到我的Ubuntu中有Python 3.6.9版本，在。
Ubuntu 18.04 快速安装 OpenCV-Python 无源码编译
otter1010的博客
05-07 1742
Opencv大家很熟悉了，经典的图像处理库。 下载whl安装包 打开网站 https://pypi.tuna.tsinghua.edu.cn/simple/opencv-contrib-python/选择对应版本安装包，我选择 opencv_contrib_python-3.4.9.33-cp36-cp36m-manylinux1_x86_64.whl 安装OpenCV-Python sudo pip3 install opencv_contrib_python-3.4.9.33-cp36-cp36m-ma
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值