Ambari2.5.2 HDP2.6.2 集成hue4.1

原文链接：http://blog.xumingxiang.com/367.html

参考链接：http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/

首先集群上安装了ambari和hdp，hdfs和yarn都启动了HA模式，Spark使用的Spark2.1.1

master1

slave1

slave2

现在要在主节点master1上安装hue并和hdp整合

一：下载hue4.1.0源代码

1 2 3

[root@master1 /]  cd  /vdb/app [root@master1 app] wget   [root@master1 app] tar  -zxvf hue-release-4.1.0/

二：下载安装jdk，配置环境变量，详细略

三：下载安装maven

1	yum  install   maven

四：编译

安装依赖包

1 2	yum -y  install  gcc  gcc-c++ asciidoc cyrus-sasl-devel cyrus-sasl-plain cyrus-sasl-gssapi krb5-devel libxml2-devel  libxslt-devel   make  mysql mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-devel libffi-devel

编译hue

1 2	[root@master1 app] cd  hue-release-4.1.0/ [root@master1 hue-release-4.1.0] make  apps

编译过程比较漫长，慢慢等待即可

五：编译完成后修改文件夹用户组

1 2 3

[root@master1 hue-release-4.1.0]groupadd hue  [root@master1 hue-release-4.1.0] useradd  -g hue hue [root@master1 hue-release-4.1.0] chown  -R hue.hue  /usr/share/hue

六：安装hadoop-httpfs

由于我们的hdfs启用了HA模式，所以需要开启hadoop-httpfs,服务，而HDP是阉割了httpfs的，所以这里需要手动安装，安装也很简单

1	yum  install  hadoop-httpfs

创建软连接：

1	ln  -s  /usr/hdp/current/hadoop-httpfs/etc/rc .d /init .d /hadoop-httpfs  /etc/init .d /hadoop-httpfs

启动： 

1	/etc/init .d /hadoop-httpfs  start

七：修改hdp配置

7.1）在Ambari管理界面，点击hdfs-》configs-》advanced ，在General 栏勾选 WebHDFS enabled 复选框

7.2）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom core-site栏点击 Add Property，添加下面那两个配置项

hadoop.proxyuser.hue.groups=*

hadoop.proxyuser.hue.hosts=*

7.3）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom core-site栏点击 Add Property，添加下面那两个配置项

hadoop.proxyuser.livy.groups=*

hadoop.proxyuser.livy.hosts=*

7.4）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom core-site栏点击 Add Property，添加下面那两个配置项

hadoop.proxyuser.httpfs.hosts=*

hadoop.proxyuser.httpfs.groups=*

7.5）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom hdfs-site栏点击 Add Property，添加下面配置项

dfs.namenode.acls.enabled=true

7.6）在Ambari管理界面，点击oozie-》configs-》advanced，在 Custom oozie-site栏点击 Add Property，添加下面那两个配置项

oozie.service.ProxyUserService.proxyuser.hue.groups=*

oozie.service.ProxyUserService.proxyuser.hue.hosts=*

7.7）在Ambari管理界面，点击oozie-》configs-》advanced，在 Advanced oozie-site栏修改下面的配置项

oozie.service.AuthorizationService.security.enabled=false

7.8）在Ambari管理界面，点击oozie-》configs-》advanced，在 Advanced oozie-site栏修改下面的配置项

oozie.service.SparkConfigurationService.spark.configurations=*=/etc/spark2/conf

7.9）在Ambari管理界面，点击hive-》configs-》advanced，在Custom hivemetastore-site栏点击 Add Property，添加下面那配置项

hive.server2.enable.doAs=true

7.10）在Ambari管理界面，点击hive-》configs-》advanced，在Custom webhcat-site栏点击 Add Property，添加下面那配置项

webhcat.proxyuser.hue.groups=*

webhcat.proxyuser.hue.hosts=*

7.11）在Ambari管理界面，点击hbase-》configs-》advanced，在Custom hbase-site栏点击Add Property添加下面那两个配置项

hbase.regionserver.thrift.http=true

hbase.thrift.support.proxyuser=true

7.12）在Ambari管理界面，点击Spark2-》configs-》advanced，在Advanced livy2-conf栏配置

livy.server.csrf_protection.enabled=false

八：修改hue配置文件

1	[root@master1 ~]vim  /vdb/app/hue-release-4 .1.0 /desktop/conf/pseudo-distributed .ini

配置文件较长，仅列出需要修改的配置项

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71

[desktop]      # hue默认配置是8080，但是8080在Ambari HDP 已经被占用，需要换一个      http_port=8008          time_zone=Asia /Shanghai [[database]]      engine=mysql      host=10.205.205.186      port=3306      user=root      password=root      #mysql 数据库服务器上要先建好hue的库      name=hue   [hadoop]   [[hdfs_clusters]]     [[[default]]]         fs_defaultfs=hdfs: //ns            #webhdfs_url=          # 我们HDFS是HA模式所以使用httpfs 端口         webhdfs_url=http: //master1 :14000 /webhdfs/v1         hadoop_conf_dir= /etc/hadoop/conf   [[yarn_clusters]]     [[[default]]]         # master1 必须是Active ResourceManager，否则hue 管理界面检测配置会报错，         # 如果Active切换到了master2，那么这里就是master2，         # 下面的master1也是这个道理         resourcemanager_host=master1               resourcemanager_port=8032            submit_to=True            logical_name=yarn-cluster            security_enabled= false            resourcemanager_api_url=http: //master1 :8088            proxy_api_url=http: //master1 :8088            history_server_api_url=http: //master1 :19888            # Spark 历史纪录服务地址            spark_history_server_url=http: //master1 :18081             # 这里需要说明一下，[[[default]]] 和 [[ha]]中各配置一个RM，logical_name名字就是yarn-site.xml中配置的         #  URL of the ResourceManager API 这里配置资源管理的地址和端口，对应yarn-site.xml中的         # URL of the HistoryServer API 这里配置历史记录资源管理的地址和端口，对应mapred-site.xml中的         [[[ha]]]             resourcemanager_host=master2             logical_name=yarn-cluster             submit_to=True             resourcemanager_api_url=http: //master2 :8088/             proxy_api_url=http: //master2 :8088/             history_server_api_url=http: //master2 :19888/             security_enabled= false             spark_history_server_url=http: //master1 :18081 [beeswax]      hive_server_host=master1      hive_server_port=10000      hive_conf_dir= /etc/hive/conf      server_conn_timeout=120 [spark]      livy_server_host=master1      # hue配置文件默认是8998，而ambari HDP 环境下的该端口是8999，注意修改，否则hue 管理界面检测配置会报错      livy_server_port=8999        livy_server_session_kind=yarn [filebrowser]      show_download_button= true      [hbase]      hbase_clusters=(Cluster|master1:9090)      hbase_conf_dir= /etc/hbase/conf [zookeeper]      [[clusters]]          [[[default]]]              host_ports=master1:2181,slave1:2181,slave2:2181 [liboozie]      oozie_url=http: //master1 :11000 /oozie [libzookeeper]      ensemble=master1:2181,slave1:2181,slave2:2181

九：初始化hue数据库

1 2 3 4

cd  /vdb/app/hue-release-4 .1.0/ source  build /env/bin/activate  hue syncdb --noinput  hue migrate deactivate

十：启动hue

[root@master1 hue-release-4.1.0]#

启动hue之前，先要启动 hbase thrift service，ambari HDP 默认没有启动hbase thrift，需要自己手动启动

1	[root@master1 bin] # /usr/hdp/current/hbase-client/bin/hbase-daemon.sh start thrift

再启动hue

1	[root@master1 bin] # nohup /vdb/app/hue-release-4.1.0/build/env/bin/supervisor &

启动完成后在浏览器中访问http://master1:8008即可使用