hue的安装和hadoop集群整合

最新推荐文章于 2023-10-09 11:33:34 发布

五块兰州拉面

最新推荐文章于 2023-10-09 11:33:34 发布

阅读量1k

点赞数 1

分类专栏： # hue 文章标签：大数据

本文链接：https://blog.csdn.net/qq_39331255/article/details/109720567

版权

本文详细介绍了如何安装Hue以及将其与Hadoop集群整合，包括环境准备、maven安装、Hue的基本配置和集成，涉及HDFS、YARN、Hive、MySQL、HBase以及Oozie和Impala的集成步骤。通过这些步骤，读者可以掌握在浏览器端通过Hue与Hadoop集群进行交互的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、 Hue概述

HUE（Hadoop User Experience）是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。
　　通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

二、环境准备

Jdk1.8
Root用户启动hdfs、yarn
正常连接外网
hue源码包
下载地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz
maven环境
https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/
下载apache-maven-3.3.9-bin.tar.gz

三、maven安装

(1) 上传到software并解压
[root@hadoop003 software]# tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /opt/module/
(2) 配置环境变量
[root@hadoop003 apache-maven-3.3.9]# vi /etc/profile
在最后一行添加

#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.3.9/
export PATH=$PATH:$MAVEN_HOME/bin

(3) 验证安装成功
重新加载环境变量，并验证maven是否安装成功
[root@hadoop003 apache-maven-3.3.9]# source /etc/profile
[root@hadoop003 apache-maven-3.3.9]# mvn -version
(4) 修改maven的本地仓库位置
root@hadoop003 apache-maven-3.3.9]# mkdir repo
[root@hadoop003 apache-maven-3.3.9]# cd repo/
[root@hadoop003 repo]# pwd
/opt/module/apache-maven-3.3.9/repo
[root@hadoop003 apache-maven-3.3.9]# vim conf/settings.xml
修改前：
在这里插入图片描述
修改后：

(5) 添加国内镜像下载点，加快下载速度，
在mirrors标签里添加

<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

四、安装hue

1、上传并解压hue
[root@hadoop003 software]# tar -zxvf hue-3.9.0-cdh5.5.4.tar.gz -C /opt/module/
2、安装编译hue用到的依赖
yum install -y gcc gcc-c++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi python-devel python-setuptools python-simplejson sqlite-devel ant libsasl2-dev libsasl2-modules-gss