Spark2.0.1 on yarn with hue 集群搭建部署（五）hue安装支持hadoop

最新推荐文章于 2023-04-17 15:57:07 发布

荷籽花结

最新推荐文章于 2023-04-17 15:57:07 发布

阅读量1.6k

点赞数

分类专栏： hue 文章标签： metastore hue

本文链接：https://blog.csdn.net/dockj/article/details/53314242

版权

hue 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

hue安装

一、编译安装hue

编译相关依赖环境rpm包安装

sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi-devel

解压hue源码包

tar –xvf /date/soft/hue-3.11.0.tgz -C /bigdata
mv hue-3.11.0 hue

编译及安装

cd /soft/hue
PREFIX=/bigdata/ make install

二、配置hue

1、修改hadoop配置

修改hadoop中hdfs-site.xml配置添加如下内容，开启web访问:

<property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
</property>

修改配置core-site.xml，添加如下内容，开启代理用户hadoop用户访问权限。

<property>
   <name>hadoop.proxyuser.hadoop.hosts</name>
   <value>*</value>
</property>
<property>  
   <name>hadoop.proxyuser.hadoop.groups</name>
   <value>*</value>
</property>

复制hdfs-site.xml和core-site.xml至其他hadoop集群服务器中

scp hdfs-site.xml core-site.xml hadoop@bigdata2:$PWD
scp hdfs-site.xml core-site.xml hadoop@bigdata3:$PWD
scp hdfs-site.xml core-site.xml hadoop@bigdata4:$PWD

2、hue基础配置

cd /bigdata/hue/desktop/conf
vim hue.ini

添加secret_key

secret_key=htbank@20161020buildhue,with==nothing

注：secret_key随便填写一个30-60个长度的字符串即可，如果不填写的话Hue会提示错误信息，这个secret_key主要是出于安全考虑用来存储在session store中进行安全验证的。Asia/Shanghai。

修改时区

time_zone=Asia/Shanghai

修改访问用户

server_user=hadoop
server_group=bigdata
default_user=hadoop
default_hdfs_superuser=hadoop

server_user 表示启动web服务的用户名
server_group表示启动web服务的用户所属的组
default_user为hue的admin用户，也是代理用户
default_hdfs_superuser表示管理hadoop的admin用户，如果该用户与core-site.xml设置中的用户不一致，将没有访问hdfs的权限。导致hue无法浏览hdfs文件，或无法对hdfs文件进行相关操作。

3、配置hue支持hadoop

修改hadoop配置

[hadoop]

  [[hdfs_clusters]]

    [[[default]]]

      # Enter the filesystem uri
      fs_defaultfs=hdfs://bigdata1:8020

      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      webhdfs_url=http://bigdata1:50070/webhdfs/v1

修改yarn配置

[hadoop]

  [[yarn_clusters]]

    [[[default]]]

      # Enter the host on which you are running the ResourceManager
      resourcemanager_host=bigdata1

      # Whether to submit jobs to this cluster
      submit_to=True

      # URL of the ResourceManager API
      resourcemanager_api_url=http://bigdata1:8088

      # URL of the ProxyServer API
      proxy_api_url=http://bigdata1:8088

      # URL of the HistoryServer API
      history_server_api_url=http://bigdata1:19888

4、切换hue元数据存储至mysql中

1）、mysql环境准备

hue的元数据默认存储在sqllite3中，由于sqllite3属于轻量级数据，适合于测试使用，所以将hue元数据存储至mysql中。
使用root用户登入mysql，创建用户、数据库，用于管理hue的元数据

mysql –uroot –p

创建数据库databasename，用于管理hue的元数据：

CREATE DATABASE `databasename` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

创建用户hue，用于hue管理在mysql中的数据：

CREATE USER 'username'@'%' IDENTIFIED BY 'password';

为用户授权，指定hue用户只有数据库hue_to_mysql的全部权限：

GRANT all ON databasename.* TO 'username'@'%';

2）、修改hue配置

vim /bigdata/hue/desktop/conf/hue.ini

修改内容具体如下：

[[database]]
    # Database engine is typically one of:
    # postgresql_psycopg2, mysql, sqlite3 or oracle.
    #
    # Note that for sqlite3, 'name', below is a path to the filename. For other backends, it is the database name
    # Note for Oracle, options={"threaded":true} must be set in order to avoid crashes.
    # Note for Oracle, you can use the Oracle Service Name by setting "host=" and "port=" and then "name=<host>:<port>/<service_name>".
    # Note for MariaDB use the 'mysql' engine.
    engine=mysql
    host=bigdata1
    port=3306
    user=username
    password=password
    # Execute this script to produce the database password. This will be used when 'password' is not set.
    ## password_script=/path/script
    name=databasename
    ## options={}