不推荐将hue和mysql装在同一台机器,因为会有依赖冲突,不好解决
安装在root用户下用yum安装所依赖的系统包
[root@hadoop001 hue-3.12.0]# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel
[root@hadoop001 apps]# tar -zxvf hue-3.12.0.gz
[root@hadoop001 apps]# cd hue-3.12.0
[root@hadoop001 hue-3.12.0]# make apps
可能会报一系列错,运行以下命令:
yum install -y gcc openssl-devel
yum install -y gcc gcc-c++ kernel-devel
yum install -y libxslt-devel
yum install -y gmp-devel
yum install -y sqlite-devel
yum install -y libffi-devel openssl-devel
yum install -y openldap-devel
yum install -y mysql-server mysql mysql-devel
再次make apps进行编译
编译成功修改配置文件:
在hadoop的配置文件中加入以下配置:
core-site.xml:
<property>
<name>hadoop.http.staticuser.user</name>
<value>hadoop</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
hdfs-site.xml:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
httpfs-site.xml:
<property>
<name>httpfs.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.root.groups</name>
<value>*</value>
</property>
改完之后分发配置文件并重启hadoop
配置hue文件
[root@hadoop001 hue-3.12.0]# vim desktop/conf/hue.ini
配置[desktop]:
secret_key=qiaowenxuandeCSDNboke
http_host=hadoop001
http_port=8888
time_zone=Asia/Shanghai
配置hue的数据库为mysql:(此处需注意,一定要配置两个database)
第一个[[database]]:下翻即可发现
engine=mysql
host=hadoop000
port=3306
user=root
password=123456
name=hue
第二个[[database]]:
通过搜索postgresql_psycopg2, mysql, sqlite3 or oracle.得到
相同的配置
在mysql创建相应的hue表。
msyql>create database hue ;
初始化数据表:
同步数据库:
[root@hadoop001 hue-3.12.0]# build/env/bin/hue syncdb
导入数据,主要包括oozie、pig、desktop所需要的表:
[root@hadoop001 hue-3.12.0]# build/env/bin/hue migrate
查看mysql中是否生成表:
msyql>show tables ;
配置HDFS:
搜索 [[hdfs_clusters 直达:
fs_defaultfs=hdfs://hadoop000:8020
logical_name=root
webhdfs_url=http://hadoop000:50070/webhdfs/v1
hadoop_conf_dir=/apps/hadoop-2.9.0/etc/hadoop
hadoop_conf_dir=/apps/hadoop-2.9.0/etc/hadoop
hadoop_bin=/apps/hadoop-2.9.0/bin
hadoop_hdfs_home=/apps/hadoop-2.9.0
此时启动hue进程:
[root@hadoop001 hue-3.12.0]# build/env/bin/supervisor
进入webui:host:8888,使用root登录
显示Cannot access: /user/root. Note: you are a Hue admin but not a HDFS superuse
是因为root与hue的默认配置用户不同
解决方式:
在hue.ini搜索:Webserver runs as this user,将默认配置改为登录用户root
# Webserver runs as this user
server_user=root
server_group=root
# This should be the Hue admin and proxy user
default_user=root
配置ResourceManager:
搜索 [[yarn_clusters 直达
找到[[[ha]]] 修改的是高可用配置
logical_name=my-rm-name
submit_to=True
resourcemanager_api_url=http://hadoop000:8088
配置hive
搜索 [beeswax 直达
hive_server_host=hadoop000
hive_server_port=10000
hive_conf_dir=/apps/hive-2.3.6/conf
进入到hive的webUI,如果英文红字显示10000端口无法访问
到hive客户端启动hiveserver2
后台启动的三种方式:
nohup bin/hiveserver2 1 > logs/hiveserver2.log 2 > logs/hiveserver2.err &
nohup hiveserver2 1>/dev/null 2>/dev/null &
nohup hiveserver2 >/dev/null 2>&1 &
再次进入hue的webUI
如果显示红字: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available
在hue服务器运行:
yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
或
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
如果在hue的about页面显示红字 Failed to access Hive warehouse: /user/hive/warehouse
是因为在安装配置hive时指定的hive数据存储的hdfs地址和hue指定的默认hdfs地址不同,只需在hdfs创建/user/hive/warehouse 就可以消除这个警告
配置hbase
hbase配置的是thriftserver2服务器地址,不是master地址,而且需要用小括号包起来。thriftserver需要单独启动。
搜索 [hbase 直达
hbase_clusters=(hadoop005:9090)
hbase_conf_dir=/apps/hbase-1.4.11/conf
启动thriftserver服务器
[root@hadoop005 hbase-1.4.11]# hbase-daemon.sh start thrift
查看端口9090
netstat -anop | grep 9090
配置spark
hue与spark的集成使用livy server进行中转,livy server类似于hive server2。提供一套基于restful风格的服务,接受client提交http的请求,然后转发给spark集群。livy server不在spark的发行包中,需要单独下载。
注意:hue中通过netebook编写scala或者python程序,要确保notebook可以使用,需要启动hadoop的httpfs进程–切记!
注意下载使用较高的版本,否则有些类找不到。下载地址如下:
[root@hadoop001 apps]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip
[root@hadoop001 apps]# unzip livy-0.5.0-incubating-bin.zip
[root@hadoop001 livy-0.5.0-incubating-bin]# bin/livy-server &
配置hue
推荐使用local或yarn模式启动job,这里我们配置成spark://s101:7077。
搜索 Spark application 直达
livy_server_host=hadoop001
livy_server_port=8998
livy_server_session_kind=spark://hadoop000:7077
配置zookeeper
搜索 [zookeeper 直达
host_ports=hadoop005:2181,hadoop006:2181,hadoop007:2181