HUE和ZooKeeper

最新推荐文章于 2021-02-05 17:37:20 发布

cp_Mark

最新推荐文章于 2021-02-05 17:37:20 发布

阅读量998

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/cp_Mark/article/details/80303672

版权

本文介绍了HUE，一个开源的Apache Hadoop UI系统，以及如何搭建HUE和ZooKeeper环境。ZooKeeper作为分布式协调服务，用于解决Hadoop组件的单点故障问题。文章详细讲解了ZooKeeper的分布式锁、数据同步和选举机制，并提供了集群配置的步骤。

摘要由CSDN通过智能技术生成

涉及到的知识点：

什么是HUE
HUE环境搭建
什么是ZooKeeper
搭建ZooKeeper环境（单节点、集群）
ZooKeeper的功能：数据同步、选举机制、分布式锁

什么是HUE

Hue是一个开源的Apache Hadoop UI系统，通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。

在没有HUE的时候，如果我们想要查看Hadoop生态圈各组件的状态，可以通过它们的webconsole，地址分别是：

HDFS: NameNode网页 http://ip:50070

SecondaryNameNode网页: http://ip:50090

Yarn: http://ip:8088

HBase: http://ip:16010

Hive http://ip:9999/hwi/

Spark http://ip:8080

如果一个个去查看肯定是可以的，但是…比较耗时间，稍显麻烦。而HUE就是对这些的整合，在HUE一个地方就可以查看上面全部组件的状况和进行一些操作。

HUE环境搭建

配置Linux
- 挂载光盘（rhel-server-7.4-x86_64-dvd.iso）：
  
  mount /dev/cdrom /mnt
- 创建rpm源文件 vi /etc/yum.repos.d/rhel7.repo ：
  
  [rhel-yum] 标签
  name=rhel7 名称
  baseurl=file:///mnt rpm包所在的目录（库所在的目录）
  enabled=1 启用库
  gpgcheck=0 不检查库
- 执行下面的语句：
  
  yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel
安装HUE

（1）解压：

tar -xvf hue-4.0.1.tgz

（2）在Hue的home目录编译安装（注意linux时间不能早于HUE发行的时间）：

PREFIX=/root/training/ make install —-> 将HUE安装到 /root/training/hue

（3）添加用户hue

adduser hue –>添加用户
chown -R hue.hue /root/training/hue/ –>设置home目录

配置HUE与Hadoop

（1）Hadoop ：hdfs-site.xml

<!-- 开启webhdfs功能 -->
<property>                  <name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

（2）Hadoop：core-site.xml

<!-- 设置Hadoop集群的代理用户 -->
<property>                   <name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>                  

<!-- 设置Hadoop集群的代理用户组 -->
<property>                  <name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

（3）HUE：hue.ini（核心配置文件$HUE_HOME/desktop/conf/hue.ini）

表一：

参数	参考值
http_host	192.168.171.113
http_port	8888
server_user	root
server_group	root
default_user	root
default_hdfs_superuser	root
fs_defaultfs	hdfs://192.168.171.113:9000
webhdfs_url