Hue安装及配置

版权声明:希望本文能对您有所帮助!欢迎指导、勘误、讨论及转载,转载请注明出处。 https://blog.csdn.net/Remoa_Dengqinyi/article/details/77746757

Hue安装及配置

目录:

1、环境准备:

2、安装hue:


1、环境准备:

CentOS-6.5

jdk1.7.0_75

Maven-3.3.9(目前最新版:2017-8-22发行的3.5.0)

git-2.9.3(目前最新版:2017-8-10发行的2.9.5)

hdp-2.4.2.0(目前最新版:2017发行的2.6.*)

Hue-3.7(目前最新版:2017-7-13发行的4.0)

hive-1.2.1000(1.2.1发行版是2015-6-27发行的,目前最新版:2017-7-25发行的2.2.0)

ambari-2.2.2.0(目前最新版:2017-8-29发行的2.5.2)

(1)查看Linux内核版本和发行版本:

①查看Linux内核版本:

方法一:cat /proc/version

 

图1.1 截图1

方法二:uname -a

 

图1.2 截图2

②查看Linux发行版本:

方法一:lsb_release -a

 

图1.3 截图3

方法二:cat /etc/issue

 

图1.4 截图4

附注:

A)Linux内核版本:指系统内核的版本号。包括实验版本和产品化版本。每一个版本号由三位数字组成,第二位数字说明版本类型,第二位数字为偶数则为产品化版本,奇数则为实验版本。这里2.6.32即产品化版本。

B)Linux发行版本:指一些Linux厂商将Linux系统内核与应用软件及文档包装在一起,并提供一些安装界面和系统设定与管理工具,组成一个发行套件。

(2)查看jdk版本:

java -version

 

图1.5 截图5

(3)查看Maven版本:

mvn -v

 

图1.6 截图6

(4)查看git版本:

git --version

 

图1.7 截图7

(5)查看hdp发行版版本:

hadoop version

 

图1.8 截图8

可知hap发行版版本为2.4.2.0,当然,在Ambari中也是可以直观看到的:

 

图1.9 截图9

附注:

A)hdp:

①Hortonworks Data Platform数据管理平台,是一个打包好的hadoop发行版软件包,旨在简化部署和管理Hadoop集群,相对于简单下载各种Apache代码包然后尝试将他们运行到一起形成一个系统。

②hdp使用Yarn作为此架构的核心,为通过一系列处理方式完成多任务处理提供了数据平台。

③hdp包括稳定版本的Apache Hadoop的所有关键组件,通过软件来集成、测试封装、配置、监控和管理Hadoop集群,Ambari提供一个基于它自身Restful的api实现直观、简单易用的web界面。

B)Ambari:

①Ambari跟Hadoop一样,也是Apache Software Foundation中的一个顶级项目,作用是创建、管理、监视整个Hadoop生态圈的集群。

②Ambari自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server和Ambari Agent。用户通过Ambari Server通知Ambari Agent安装对应的软件,Agent会定时地发送各个机器每个软件模块的状态给Server,最终这些状态信息会呈现在Ambari的GUI中,方便用户了解到集群的各种状态,并进行相应的维护。

(6)查看Hive版本:

①进入hive,输入set -v

 

图1.10 截图10

在这里可以看到jdk版本以及hdp数据平台版本,但是没有查看到hive版本;

②在克隆的控制台中查看java进程:

jps

 

图1.11 截图11

附注:

A)jps:java virtual machine process status tool,是jdk1.5提供的一个显示当前所有java进程pid的命令。

③lsof -g 21441 | grep hive

 

图1.12 截图12

附注:

A)lsof命令:list open files,用于查看进程打开的文件、进程打开的端口等等。

-a参数:列出打开文件存在的进程

-g参数:列出gid号进程详情

查看到hive的版本号为1.2.1000。

(7)查看ambari版本:

ambari-server --version

 

图1.13 截图13

 

2、安装Hue:

(1)下载Hue4.0软件包

gitHub地址:https://github.com/cloudera/hue

Hue的软件包共有快300MB,直接在服务器中进行下载太慢了,故采取先拉回到本地主机,再上传到服务器上,输入命令:git clonehttps://github.com/cloudera/hue.git

 

图2.1 截图14

采用SFTP把Hue目录从本地再put到服务器上面去。

下载完毕后,cd进入hue目录,想使用make apps发现报错,原因查看github中工程的readme文档,发现需要安装许多的依赖包:

 

图2.2 截图15

使用yum对依赖包进行安装:

yum install -y 'ant' 'asciidoc' 'cyrus-sasl-devel' 'cyrus-sasl-gssapi' 'gcc' 'gcc-c++' 'krb5-devel' 'libtidy' 'libxml2-devel' 'libxslt-devel' 'make' 'mvn' 'openldap-devel' 'python-devel' 'sqlite-devel'  'openssl-devel' 'gmp-devel'

经历漫长的安装过程,出现complete字样,安装完成。

 

图2.3 截图16

(2)进入hue目录,输入make apps进行安装,报错。


图2.4 截图17

 

图2.5 截图18

最终发现是版本冲突问题,故采用另一种安装方式:

yum install hue

(3)安装完毕后,修改/etc/hadoop-httpfs/conf目录下的httpfs-site.xml文件:

 

图2.6 截图19

附注:

A)参数说明:

httpfs.proxyuser.hue.hosts中的hue是启动httpfs的用户名

httpfs.proxyuser.hue.groups中的hue是启动httpfs的用户组名

httpfs.hadoop.config.dir指httpfs代理服务所在位置

B)Httpfs本质上是一个代理服务,它部署在能够完全访问HDFS集群的网络内,对于文件CURD(create创建、update更新、retrieve读取、delete删除)的操作全部提交给Httpfs服务,然后由它去和HDFS集群交互,所以客户端不需要能够访问所有HDFS主机。Httpfs服务提供的操作接口是HTTP协议的RESTFUL接口,但是官方没有提供现成的Java客户端。

(4)查看/etc/hue/conf目录下的hue.ini文件,修改该文件:

A)修改Hue web服务器所在主机及端口:

在vim下找到关键字:http_host及http_port

# Webserver listens on this address and port

  http_host=datatub2

  http_port=8000

B)修改时区名称:

在vim下找到关键字:time_zone

# Time zone name

  time_zone=Asia/Shanghai

C)修改运行Hue Web Server的进程用户及进程用户组

在vim下找到关键字:server_user和server_group

# Webserver runs as this user

  server_user=hue

  server_group=hadoop

D)修改Hue管理员

在vim下找到关键字:default_user

default_user_group=hadoop

  default_username=hue

  default_user_password=1111

E)修改默认的HDFS路径

在/usr/hdp/current/hadoop-client/conf目录下的文件core-site.xml找到hadoop中hdfs的默认路径:

 

图2.7 截图20

在vim下找到关键字:fs_defaultfs

[[[default]]]

      # Enter the filesystem uri

      fs_defaultfs=hdfs://datatub1:8020

F)修改yarn管理的resourcemanager路径

在/usr/hdp/current/hadoop-client/conf目录下的文件yarn-site.xml搜索关键字:resourcemanager.webapp.address,

 

图2.8 截图21

在vim下找到关键字:resourcemanager_api_url

# URL of the ResourceManager webapp address (yarn.resourcemanager.webapp.address)

      resourcemanager_api_url=http://datatub2:8088

G)修改yarn rpc路径

在/usr/hdp/current/hadoop-client/conf目录下的文件yarn-site.xml搜索关键字:yarn.resourcemanager.address

 

图2.9 截图22

在vim下找到关键字:resourcemanager_rpc_url

# URL of Yarn RPC adress (yarn.resourcemanager.address)

      resourcemanager_rpc_url=http://datatub2:8050

H)修改MapReduce历史服务器路径:

在/usr/hdp/current/hadoop-client/conf目录下的文件mapred-site.xml搜索关键字:jobhistory.webapp

 

图2.10 截图23

在vim下找到关键字:history_server_api_url

# URL of the HistoryServer API

      history_server_api_url=http://datatub2:19888

附注:

Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的MapReduce作业,比如使用的Map数目、Reduce数目、作业启动时间、作业完成时间等信息,当启动了历史服务器后,这些历史数据将存放在HDFS中。

I)修改NodeManager的路径:

在/usr/hdp/current/hadoop-client/conf目录下的文件mapred-site.xml搜索关键字:nodemanager.address

 

图2.11 截图24

在vim下找到关键字:node_manager_api_url

# URL of the NodeManager API

      node_manager_api_url=http://0.0.0.0:45454

J)配置beeswax中Hive所在节点主机名/IP

①在/usr/hdp/current/hive-client/conf目录下的文件hive-site.xml

搜索关键字:hive.server2.thrift.port查看监听的TCP端口号

 

图2.12 截图25

在hue.ini中进行修改:

# Port where HiveServer2 Thrift server runs on.

  hive_server_port=10000

②修改Hive所在节点主机IP:

# Host where Hive server Thrift daemon is running.

  # If Kerberos security is enabled, use fully-qualified domain name (FQDN).

  hive_server_host=datatub2

③修改Hive配置文件目录:

 

图2.13 截图26

# Hive configuration directory, where hive-site.xml is located

   hive_conf_dir=/usr/hdp/current/hive-client/conf

(5)启动hue:

进入/etc/init.d目录,/etc/init.d/hue start

 

图2.14 截图27

相对应的关闭hue为stop,重启hue为restart。

(6)开启8000端口

①修改防火墙配置:

vi /etc/sysconfig/iptables  

②在iptables文件中添加下面这行:

-A INPUT -p tcp -m tcp --dport 8000 -j ACCEPT

③保存并退出,然后重启防火墙:service iptables restart

(7)查看8000端口情况:

netstat -anp |grep 8000

(8)在浏览器中访问hue

①首页展示:

 

图2.15 截图28

②设置hive执行引擎为mr:

 

图2.16 截图29

③输入查询语句:

 

图2.17 截图30

④查看到执行过程日志记录:

 

图2.18 截图31

⑤查看到查询结果:

 

图2.19 截图32

⑥在Ambari中也能看到执行结果为成功:

 

图2.20 截图33

hive ql语句查询成功。

(9)查看官网的最新的Hue4的新特性英文介绍,进行翻译:

 

图2.21 截图34

Hue4.0新特性介绍:

界面:

新的布局简化了界面,现在是单页,更加迅捷了。

各种各样的应用程序被归类为四类应用程序:

①编辑器

②浏览器

③仪表板

④调度程序

A)顶部搜索栏和左侧附注功能可以帮助快速搜索和浏览任何数据。

B)每一个用户都可以设置他喜欢的应用程序作为默认的操作/着陆页。

C)更早的版本Hue3仍然可用,然后Hue4百分百向后兼容Hue3。

D)切换到新的Hue4的UI可以在全局级别决定,或者每个用户能够独立地将UI中的一个来回翻转设为默认。

E)所有带有/hue前缀的URL都指向Hue4,没有一个指向Hue3。

F)可以在页面的Hue3版本上删除前缀并着陆,例如/hue/editor(Hue 4)修改为/editor(Hue 3)。


展开阅读全文

没有更多推荐了,返回首页