Hue安装及测试文档

开始准备使用docker 的，但是官方镜像为Ubuntu 的，不是很方便，

但是docker file研究了一下，后面有时间再研究一下docker，docker 还是很好玩的。（这个花了一天时间）----放弃，但有收获，看看这奇葩的配置

docker run -tid --name huewajj --hostname dcp241 -p 8888:8888 -v /usr/hdp:/usr/hdp -v /etc/hadoop:/etc/hadoop  -v /etc/hive:/etc/hive -v /etc/hbase:/etc/hbase  -v /etc/spark:/etc/spark   -v /docker-config/pseudo-distributed.ini:/hue/desktop/conf/pseudo-distributed.ini  -v /etc/hue/hue.keytab:/etc/hue/hue.keytab  -v /usr/bin/kinit:/usr/bin/kinit gethue/hue:latest  #./build/env/bin/hue runserver_plus 0.0.0.0:8888

 

一、   组网：

一个单点：hue 再加一个mysql 再加一个apache  wsgi或 nginx wsgi架构 现在在测试阶段，我只用一台mysql和hue 随便找一台datanode，或单独的服务，datanode就不需要去拷一堆xml,单独的服务器，需要装很多东西，不推荐。

 

二、   Hue的编译

Hue编译需要外网环境：怎么办，我们先做好包，到环境上面进行make install ,make install 不需要外网环境支持，只需要把相应的要求的rpm包装好就行了。

配置maven环境

/home/client/apache-maven-3.3.9/bin/mvn 需要把java 配置到环境变量里面，这里最好以java_7.67版本进行编译 下载mvn 包： 登陆可以连接外网的环境的liunx主机：10.1.235.79 wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz 解包：tar xzvf apache-maven-3.3.9-bin.tar.gz 加入/etc/profile环境变量 export MAVEN_HOME=/home/client/apache-maven-3.3.9 export PATH=$JAVA_HOME/bin:$PATH:${MAVEN_HOME}/bin 测试 source /etc/profile ;whereis mvn /home/client/apache-maven-3.3.9/bin/mvn.cmd /home/client/apache-maven-3.3.9/bin/mvn mvn -version Apache Maven 3.3.9 如果有条件，我们部门，可以搭建一个mavn私服

依赖包安装

yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libtidy  libxml2-devel libxslt-devel make  openldap-devel python-devel sqlite-devel openssl-devel  gmp-devel  xmlsec1  xmlsec1-openssl[a1]    #注意，我们如果使用percona-server后面的make install会报错 mysql可以从http://repo.mysql.com/yum/mysql-5.6-community/el/7/x86_64/下载 mysql-community-common-5.6.34-2.el7.x86_64 mysql-community-devel-5.6.35-2.el7.x86_64 mysql-community-server-5.6.34-2.el7.x86_64 mysql-community-client-5.6.35-2.el7.x86_64 mysql-community-libs-5.6.34-2.el7.x86_64 这些包，进行安装 rpm –ivh 包名一个个地装 后续还是要做相应的yum源 其他的就是用yum源安装就行了

进行hue包的编译

https://github.com/cloudera这个是githue上面的网址 https://github.com/cloudera/hue 这个是githue上面的网址注意注一下载 git clone https://github.com/cloudera/hue.git branch-3.9 cd branch-3.9 这里面有几项，如下在测试之前，我使用的branch-3.9 在下面的环境我使用git clonehttps://github.com/cloudera/hue.git branch-3.11.0 测试一下，对hbase 和 spark的支持（反正3.9对 hbase和spark 的不支持） 下面进行编译 看一下makefile   install     : Install at $PREFIX (/usr/local/hue); need desktop 安装用的   apps        : Build and register all desktop apps; need desktop 安装应用：   desktop     : Build desktop core only   clean       : Remove desktop build products   distclean   : Remove desktop and thirdparty build products   docs        : Build documentation 安装文档   prod        : Generate a tar file for production distribution 就是打包   locales     : Extract strings and update dictionary of each locale   theme       : Builds the Hue Bootstrap Theme   ace         : Builds the Ace Editor tool 我们可以安装 make prod #打生产包 注意里面的报错，报错就一个个解决，反正能编译出来 产生包：在编译最后产生 编译时间很长 --- Generated /data/branch-3.11.0/build/release/prod/hue-3.11.0.tgz nm需要20分钟才能产生这个包 下面就拎着这个包到生产上面装吧 解这个包：然后就装吧 export PREFIX=/usr/local/hue;make install 创建hue 用户（集群所有主机都创建这个用户） useradd -m hue -s /bin/bash -d /home/hue 修改权限 chown –R hue.hue /usr/local/hue /usr/local/hue/hue/build/env/bin

 

三、   环境hadoop配置

将hue 用户设置成super user

在后台配置里面会看到：

vi core-site.xml    <property>       <name>hadoop.proxyuser.hue.groups</name>       <value>*</value>     </property>       <property>       <name>hadoop.proxyuser.hue.hosts</name>       <value>*</value>     </property>

重启需要重启的服务：包括namenode,yarn

创建hue keytab文件,登陆kadmin服务器

kadmin.local       addprinc -randkey  hue/dcp79        xst  -k  hue.keytab  hue/dcp79       exit scp hue.keytab  10.1.235.79:/usr/local/hue #将本地生成这个文件传到相应的机器上面

 

四、   配置整理(本章节全部是修改/usr/local/hue/hue/desktop/conf/hue.ini)

配置完的参数hue.ini：

见二个配置文件：

           

 

先备份：

设置desktop里面的

cp  -a  /usr/local/hue/hue/desktop/conf  /usr/local/hue/hue/desktop/conf_2016_12_16

 

初始化数据库

2.1) bin/hue syncdb 2.2) bin/hue migrate

 

这个，我星期一再补充

五、   测试

Hdfs 上传下载支持

Jobbrower支持查看

支持多用户的切换

支持hive 的查询，

支持zookeeper的功能

这个周一再补充

六、   需要进一步解决的问题

确认：spark 应该是不支持

支持方式如下：

http://gethue.com/a-new-spark-web-ui-spark-app/

 

但是对hue的支持hdp是这样的说的

Spark

 We are improving the Spark Editor and mightchange the Job Server and stuff is still pretty manual/not recommend for now.

 

 

HBase  ---这个需要跟进一下，我升了一个版本，

这个官方的解答如下：

Currently not tested (should work with Thrift Server 1)   

现在的报错：如下

Api Error: The kerberos principal name ismissing from the hbase-site.xml configuration file.

 

 

Hue 对 webhdfs 的支持不太好，主要是namenode切换后，需要重新配置

Hue对 resourcemanger 的支持不太好，主从切换后，需要重新配置

 

Kerberos 的支持

kinit: KDC can't fulfill requested optionwhile renewing credentials

这块的支持

 

 

---

 [a1]3.11新增