Ambari(七)----Ambari集成Hue4.2文档(亲测有效)

最新推荐文章于 2024-10-11 07:30:00 发布
最新推荐文章于 2024-10-11 07:30:00 发布
阅读量3.6k 收藏 8
点赞数 4
分类专栏： Ambari 文章标签： hue集群 ambari
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40861707/article/details/109629144
版权

参考资料:

ambari-hue-service:Ambari集成Hue github代码
Hue官方文档 database部分介绍

文档目录

一. 安装前准备

二. 将Hue其集成到Ambari

三. Ambari中安装配置hue

四. Ambari集成Hue过程中遇到的问题及解决方案

一. 安装前准备

1.1 环境配置

我的环境配置如下:

环境对应版本
Amabri2.6.0.0
HDP2.6.3.0
HDP-UTILSHDP-UTILS-1.1.0.21
CentOs7.4

1.2 下载Hue安装包

Hue4.2官网下载链接

注:如果官网下载碰到问题可使用如下链接

百度网盘Hue4.2压缩包

提取码: qflu

下载后,将hue-4.2.0.tgz文件拷贝到本地yum源的hue目录下.此路径可以通过查看hdp源配置文件获取,例:

# 注: 有的ambari对应HDP.repo文件
 cat /etc/yum.repos.d/hdp.repo | grep baseurl

# 显示结果如下
baseurl=http://{hostname}/ambari/HDP/centos7/2.6.3.0-235
baseurl=http://{hostname}/ambari/HDP-UTILS

#那么上述配置对应hue目录为
/var/www/html/ambari/HDP/centos7/2.6.3.0-235/hue

1.3 在Hue安装节点安装必要依赖

在安装Hue的节点上执行如下命令安装必要依赖

yum install -y ant

yum install -y maven

yum install -y git

yum install -y gcc gcc-c++ make

yum install -y cyrus-sasl-devel cyrus-sasl-plain cyrus-sasl-gssapi

yum install -y krb5-devel libxml2-devel libxslt-devel

yum install -y python-setuptools

yum install -y openldap-devel python-devel sqlite-devel openssl-devel gmp-devel libffi-devel saslwrapper-devel

yum install -y mysql mysql-devel 

yum install -y asciidoc

yum install -y python-simplejson  # 注: 若该命令运行异常,请跳转问题一查看解决方案

二. 将Hue集成到Ambari

2.1 将Hue添加进Ambari管理

在主节点上执行以下三个命令

VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`
rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE
sudo git clone https://github.com/EsharEditor/ambari-hue-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE

2.2 根据实际情况修改代码

2.2.1 版本修改

2.1步骤中下载下来的文件中涉及到的Hue版本与所要安装的Hue版本（4.2）是不一致的。所以需要修改相关文件。

涉及到版本的文件如下

metainfo.xml
README.md
package/scripts/params.py
package/scripts/setup_hue.py

将上述文件中出现的所有3.11.0替换成4.2.0即可

2.2.2 脚本修改

为了保证Hue能够正常下载安装,我们还需要对部分脚本做必要的修改
脚本目录如下

/var/lib/ambari-server/resources/stacks/HDP/2.6/services/HUE/package/scripts/

修改common.py文件

首先新增如下几条执行命令,修改之后结果如下:
在这里插入图片描述
接下来注释掉如下几行,注释之后显示如下:
在这里插入图片描述

修改setup_hue.py文件

注释掉如下两行,修改之后显示如下:
在这里插入图片描述
修改params.py文件

首先,修改32行,download_url配置,修改之后结果如下图:
在这里插入图片描述
注意:这里配置应该根据自己实际情况! 最后需要保证download_url参数返回的结果和1.2步骤中配置的值一致
否则hue初始化过程中会出现404问题导致失败

接下来,修改186行,将端口号修改为50070,如下:

在这里插入图片描述

检查configs.sh文件

该文件所在目录:

/var/lib/ambari-server/resources/stacks/HDP/2.6/services/HUE/package/files

检查该文件中ambari平台密码,端口号设置是否和ambari-server配置一致,不一致需要进行更正

在这里插入图片描述

2.3 重启ambari-server

修改完2.2所述配置之后,执行如下命令重启ambari-server

ambari-server restart

我们已经可以在添加服务列表里看到Hue服务
在这里插入图片描述

三. Ambari中安装配置hue

3.1 hue正式安装前配置

3.1.1 安装hadoop-httpfs

如果hdfs启用了HA模式，那么需要开启hadoop-httpfs服务，因为webhdfs不能自动感知hdfs-site.xml里面配的HA高可用信息。而HDP是阉割了httpfs的，所以这里需要手动安装,操作如下:

 # 安装 hadoop-httpfs
 sudo yum install hadoop-httpfs
 # 启动HttpFs
 sudo service hadoop-httpfs  start（或者/usr/hdp/current/hadoop-httpfs/etc/rc.d/init.d/hadoop-httpfs start）

3.1.2 hdfs添加相关配置

注意: 下述参数在添加过程中碰到参数已经存在的提示无需理会,直接添加下一个即可

HDFS组件在自定义core-site配置文件中添加如下参数

hadoop.proxyuser.hue.groups=*

hadoop.proxyuser.hue.hosts=*

hadoop.proxyuser.httpfs.groups=*

hadoop.proxyuser.httpfs.hosts=*  

hadoop.proxyuser.livy.groups=*

hadoop.proxyuser.livy.hosts=*

HDFS组件在自定义hdfs-site配置文件中添加如下参数：

dfs.namenode.acls.enabled=true

同时确保webhdfs处于开启状态

3.1.3 mysql数据库配置

需要在MySQL上创建Hue数据库

create database hue;  

CREATE USER hue@'%'IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON hue.* TO hue@'*' IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON hue.* TO hue@'%' IDENTIFIED BY 'password';

FLUSH PRIVILEGES;

3.2 hue初始化

上述配置结束后,可以在ambari web界面上依照提示进行hue初始化工作

Hue Databases配置
在这里插入图片描述
此处也可以配置到MySQL Configs部分中
在这里插入图片描述

Hue User Info配置

启用User Sync,使用linux系统本地用户
在这里插入图片描述
Hue Service Module配置

在这里插入图片描述
其它保持默认值,点击下一步,一直到完成安装部署
这里涉及到源码编译,所以会等待比较长的时间
此时,如果遇到报错,根据界面提示的相关错误信息去排查解决

如果/usr/local/hue/build/env/bin/目录如下证明安装成功

在这里插入图片描述

注意! 截止到到上述操作,我们仅仅完成了hue的安装工作,
这个时候启动或者界面跳转会失败,因为我们还没有对安装好的Hue进行进一步配置

3.3 hue初始化后进行的配置

手动修改Hue配置文件Hue.ini

配置文件在/usr/local/hue/desktop/conf/目录下。从头到尾配置。需要配置mysql、hive、hdfs、webhdfs、yarn等等。根据自己已有的组件进行修改（hue启动代码是通过界面配置参数刷入到pseudo-distributed.ini文件，此操作仅作参考），具体内容如下所示：

修改[desktop]
在这里插入图片描述
修改[[database]]

在这里插入图片描述
修改[hadoop]
注意:我这里的示例集群开启了HA

在这里插入图片描述
修改[[yarn_cluesters]]
注: 我这里的示例yarn也开启了HA配置

在这里插入图片描述
修改[[ha]]

在这里插入图片描述
修改[beeswax]
在这里插入图片描述

修改[spark]

在这里插入图片描述
修改[firebrowser]
在这里插入图片描述
修改[zookeeper]

在这里插入图片描述
修改[libzookeeper]
在这里插入图片描述
注:我这里只列举了自己的组件,如果涉及到其它组件,也要根据实际情况修改配置文件

3.4 生成hue数据库和表

进入/usr/local/hue/build/env/bin/目录，执行如下两条命令：

./hue syncdb
./hue migrate

hue数据库中表类似下图,证明执行成功:

在这里插入图片描述

3.5 启动和登录Hue

如果要启用HBase，启动hue之前，先要启动 hbase thrift service，ambari HDP 默认没有启动hbase thrift，需要自己手动启动。在HBase Master节点上执行：

/usr/hdp/current/hbase-client/bin/hbase-daemon.sh start thrift

在Ambari界面启动Hue，快速链接上打开Hue界面

出现如下界面,证明hue安装配置正常
在这里插入图片描述

输入账户名密码登录即可! 我这里登录用户名：hue，密码：hue

四. Ambari集成Hue过程中遇到的问题及解决方案

4.1 yum安装python-simplejson报错:No package python-simplejson available.

问题描述:

# 执行以下命令安装simplejson的时候
yum install python-simplejson -y

报错:

No package python-simplejson available.
Error: Nothing to do

解决方案:

可以尝试以下几种下载方式:

方法一:

wget https://pypi.python.org/packages/source/s/simplejson/simplejson-3.5.2.tar.gz#md5=10ff73aa857b01472a51acb4848fcf8b --no-check-certificate
tar vxzf simplejson-3.5.2.tar.gz
cd simplejson-3.5.2
python setup.py install

方法二:

pip install simplejson

方法三:

easy_install simplejson

我最终用方法一解决了该问题

4.2 hue初始化报错 : ‘ascii’ codec can’t encode character u’\u201c’ in position 3462: ordinal not in range(128)

问题描述:

# hue初始化时报错,如下
File "/usr/lib/python2.6/site-packages/resource_management/core/sudo.py", line 141, in create_file
    fp.write(content)
UnicodeEncodeError: 'ascii' codec can't encode character u'\u201c' in position 3462: ordinal not in range(128)

问题原因:
编码问题
解决方案:
修改报错文件的编码方式,如下:

vim /usr/lib/python2.6/site-packages/resource_management/core/sudo.py
# 添加如下内容:
import sys

reload(sys)

sys.setdefaultencoding('utf-8')

如下图所示:
在这里插入图片描述

4.3 hue初始化报错 :HTTP request sent, awaiting response… 404 Not Found

# 界面上install hue报错, 具体提示如下:
2020-11-11 14:08:52 (298 MB/s) - 'hue.tgz' saved [48520359/48520359]

--2020-11-11 14:08:52--  http://{ip}/ambari/HDP-UTILS/hue/hue-4.2.0.tgz
Reusing existing connection to 172.16.87.191:80.
HTTP request sent, awaiting response... 404 Not Found
2020-11-11 14:08:52 ERROR 404: Not Found.

FINISHED --2020-11-11 14:08:52--
Total wall clock time: 0.2s
Downloaded: 1 files, 46M in 0.2s (298 MB/s)

报错原因:
从报错提示来看,给出的链接下并没有hue-4.2.0.tgz压缩包
怀疑是download_url部分配置解析问题

解决方案:

修改params.py文件

cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services/HUE/package/scripts/

vim params.py 

# 修改download_url配置为如下,注:该配置需要根据个人实际情况修改,请勿直接复制粘贴
download_url = 'cat /etc/yum.repos.d/hdp.repo | grep "baseurl"  | grep "ambari/HDP/centos" | awk -F \'=\' \'{print $2"/hue    /hue-4.2.0.tgz"}\''

修改完毕之后,重新初始化,问题得到解决!

4.4 hue界面打开报错: 1044, “Access denied for user ‘hue’@’%’ to database ‘desktop/desktop.db’”

问题描述:
hue初始化结束并成功启动之后,ambari点击quicklinks进入Hue界面时界面报错:

OperationalError at /hue/accounts/login/
(1044, "Access denied for user 'hue'@'%' to database 'desktop/desktop.db'")
Request Method:	GET
Request URL:	http://ambari-191-master:8888/hue/accounts/login/?next=/
Django Version:	1.6.10
Exception Type:	OperationalError
Exception Value:	
(1044, "Access denied for user 'hue'@'%' to database 'desktop/desktop.db'")
Exception Location:	/usr/local/hue/build/env/lib/python2.7/site-packages/MySQL_python-1.2.5-py2.7-linux-x86_64.egg/MySQLdb/connections.py in __init__, line 193
Python Executable:	/usr/local/hue/build/env/bin/python2.7
Python Version:	2.7.5

问题原因:
hue数据库初始化异常

解决方案:

进入/usr/local/hue/build/env/bin/目录，执行如下两条命令：

./hue syncdb
./hue migrate

正确之后重启hue,及相关组件,点击链接,界面正常显示!
在这里插入图片描述

4.5 hue界面访问hdfs报错 Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, “hadoop” or part of HDFS supergroup, “supergroup”

报错详情:


Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, "hadoop" or part of HDFS supergroup, "supergroup".
 
SecurityException: Failed to obtain user group information: org.apache.hadoop.security.authorize.AuthorizationException: User: hue is not allowed to impersonate hue (error 403)

报错原因:
权限问题, hue用户不具备相应hdfs目录的访问权限

解决方案:

为hue添加如下配置
该配置与3.1.1过程中所在的主机名一致
在这里插入图片描述
修改如下配置,将Default User的值配置为报错的用户
在这里插入图片描述
修改完上述配置之后,重新启动hue.问题即可得到解决

new个对象先
关注
专栏目录
Ambari2.5.1.0 2.5.3.0 集成接入Hue3.8.1
zzzxmfj的博客
11-26 680
系统环境： Ambari：2.5.1.0 HDP：2.5.3.0 HDP-UTILS：1.1.0.21 Centos：6.9 Hue官网的下载地址： http://gethue.com/downloads/releases/3.8.1/hue-3.8.1.tgz 安装前环境准备 1、安装maven 安装过程中涉及 编译环境 需要maven wget http://repos.fedorapeop...
ambari 2.7.5集成安装hue 4.6
qq_42273045的博客
04-19 1558
2.7.5集成hue4.6
【成神之路】Ambari实战-017-代码生命周期-metainfo-commandScript详解
最新发布
TTBIGDATA的博客
10-11 1822
Ambari 是一款强大的大数据集群管理工具，它简化了 Hadoop 及其他大数据组件的部署、管理和监控。通过 Ambari，用户能够以图形化界面或 API 的方式轻松管理集群中的各项服务。在 Ambari 的服务管理过程中，文件起着至关重要的作用，它定义了服务的元数据，并通过来执行服务和组件的各种操作。是一个高度灵活的配置项，可以用来实现服务启动、停止、检查健康等操作，并支持用户自定义命令脚本。可以在两个不同的层次上使用：服务级别和组件级别。在服务级别，通常用于执行服务的整体操作，比如服务健康检查。
给Ambari集群里安装可视化分析利器工具Hue步骤（图文详解）
weixin_33970449的博客
08-01 475
        　　扩展博客   　　以下，是我在手动的CDH版本平台下，安装Hue。 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐）   　　以下，是我在Clouderamanager平台下，安装Hue。 给Clouderamanager集群里安装可视化分析利器工具Hue...
ambari添加hue服务
魂醉的一亩二分地
03-28 2821
HDP本身没包括HUE，这里介绍一下ambari集成HUE，本篇文章只记录步骤，不记录具体过程 1.下载HUE服务，https://github.com/EsharEditor/ambari-hue-service，这里我下载的是4.2.0 VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[...
【原创】大数据基础之Ambari（5）通过Ambari部署Hue
weixin_30740581的博客
01-29 656
ambari2.7.3（hdp3.1） 安装 hue4.2 ambari的hdp中原生不支持hue安装，下面介绍如何通过添加service的方式使ambari支持hue安装： 官方：http://gethue.com/ Hue is an open source Workbench for developing and accessing Data Apps. 一 安装SERVICE ...
Ambari2.7.4集成Hue4.6.0
08-12
- **下载插件**：从 GitHub 下载 ambari-hue-service 插件源码，将其放置在 Ambari 服务器的指定目录。 - **安装包**：将 Hue 的安装包复制到 Ambari 的 HDP 版本对应的目录下。 4. **代码和环境配置** - **修改...
Ambari2.7.4 HDP-3.1.4(hortonworks集群安装).docx
12-18
Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，支持HDFS、MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Kafka、Oozie、Pig、Sqoop和Spark等服务。Ambari同样还提供了集群状况仪表盘，以友好的用户...
ambari-2.6.2.tar.gz 安装包
12-26
Ambari是Apache软件基金会开发的一款开源工具，主要用于简化Hadoop和其他大数据集群的部署、管理和监控。这个"ambari-2.6.2.tar.gz"安装包是Ambari的2.6.2版本，它包含了管理和配置Hadoop生态系统所需的所有组件和...
Ambari2.7.4集成Hue4.6.0详细步骤
7. 配置 Ambari 插件：将下载的 ambari-hue-service 集成插件复制到 Ambari 的插件目录中。 8. 启动和注册 Hue 服务：在 Ambari 管理界面中添加和配置 Hue 服务，然后启动。 在集成过程中，可能遇到的问题包括但不...
Ambari 2.7.5+HDP3.1.5离线安装详细教程（附安装包）
QYmufeng的博客
02-22 3503
一.准备工作 系统：centos7.6（推荐使用：redhat7、redhat-ppc7、ubuntu14、ubuntu16、ubuntu18） Ambari版本： 2.7.5 HDP版本：3.1.5 主机： 系统 ip 主机名称 主机名 内存 Ambari server mysql httpd服务 centos7.6 192.168.112.143 cluster01.toroidal.comcluster01 8G √ √ .
openresty-1.15.8.2
09-19
openresty-1.15.8.2 安装升级 附件为主要依赖包 详情连接 https://blog.csdn.net/weixin_42023321/article/details/101012291
nginx上传下载之openresty-1.15.8.2.tar.gz
10-15
openresty安装压缩包
hue-4.2.0.tgz
05-22
hue 4.2.0.tgz 下载 官网镜像文件，tgz格式。。。。。。
HDP集成环境配置工具ambari2.7含源码
07-25
HDP集成环境配置工具ambari2.7含源码，Web操作界面，简单实用。
hdp (ambari) 集成hue
weixin_30678821的博客
05-03 430
ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于HDP来访问HUE,暂时没有做尝试 我尝试了,使用hdp自带的hue rpm包来安装,直接yum install hue 即可剩下的就主要是配置cd /etc/hue/confvi hue....
hue 的安装
www.hohode.com
03-16 1127
系统:CentOS release 6.5 (Final) 安装git yum install -y git-core 这里，我所基于的基本环境及其配置情况，如下所示： CentOS release 6.5 (Final) java version "1.7.0_75" apache-maven-3.2.5 git version 1.7.1 Python 2.6.
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值