### 回答1：
CDH6.3中
Hue的
配置可以通过以下步骤完成：
1. 安装
CDH6.3
集群，并在其中一台机器上安装
Hue。
2.
配置Hue的
数据库连接，可以选择MySQL作为
Hue的元
数据存储和用户认证
数据库。在
Hue的
配置文件中，设置以下参数：
```
[desktop]
...
# Database settings
...
engine=django.db.backends.mysql
host=<MySQL
服务器IP地址>
port=<MySQL
服务器端口>
user=<MySQL用户名>
password=<MySQL用户密码>
name=<MySQL
数据库名>
```
3.
配置Hive的连接，可以通过以下步骤完成：
（1）在
Hue的
配置文件中，设置以下参数：
```
[hadoop]
...
# Hive settings
...
hive_server_host=<Hive
服务器IP地址>
hive_server_port=<Hive
服务器端口>
```
（2）在Hive的
配置文件中，设置以下参数：
```
<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>
<property>
<name>hive.server2.authentication</name>
<value>KERBEROS</value>
</property>
<property>
<name>hive.server2.authentication.kerberos.principal</name>
<value>hive/_HOST@<Kerberos域名></value>
</property>
<property>
<name>hive.server2.authentication.kerberos.keytab</name>
<value>/etc/security/keytabs/hive.service.keytab</value>
</property>
```
4.
配置HBase的连接，可以通过以下步骤完成：
（1）在
Hue的
配置文件中，设置以下参数：
```
[
hbase]
...
#
HBase settings
...
hbase_host=<
HBase服务器IP地址>
hbase_port=<
HBase服务器端口>
```
（2）在
HBase的
配置文件中，设置以下参数：
```
<property>
<name>
hbase.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>
hbase.security.authorization</name>
<value>true</value>
</property>
<property>
<name>
hbase.rpc.engine</name>
<value>org.apache.hadoop.
hbase.ipc.SecureRpcEngine</value>
</property>
<property>
<name>
hbase.master.kerberos.principal</name>
<value>
hbase/_HOST@<Kerberos域名></value>
</property>
<property>
<name>
hbase.regionserver.kerberos.principal</name>
<value>
hbase/_HOST@<Kerberos域名></value>
</property>
<property>
<name>
hbase.rpc.protection</name>
<value>authentication</value>
</property>
```
5.
配置Spark的连接，可以通过以下步骤完成：
（1）在
Hue的
配置文件中，设置以下参数：
```
[spark]
...
# Spark settings
...
spark_host=<Spark
服务器IP地址>
spark_port=<Spark
服务器端口>
```
（2）在Spark的
配置文件中，设置以下参数：
```
spark.authenticate=true
spark.authenticate.secret=<Spark认证密钥>
spark.master=yarn
spark.eventLog.enabled=true
spark.eventLog.dir=<Spark事件日志目录>
```
6.
配置SparkSQL的连接，可以通过以下步骤完成：
（1）在
Hue的
配置文件中，设置以下参数：
```
[spark]
...
# SparkSQL settings
...
spark_sql_host=<SparkSQL
服务器IP地址>
spark_sql_port=<SparkSQL
服务器端口>
```
（2）在SparkSQL的
配置文件中，设置以下参数：
```
spark.authenticate=true
spark.authenticate.secret=<SparkSQL认证密钥>
spark.sql.catalogImplementation=hive
```
7.
配置PySpark的连接，可以通过以下步骤完成：
（1）在
Hue的
配置文件中，设置以下参数：
```
[spark]
...
# PySpark settings
...
pyspark_host=<PySpark
服务器IP地址>
pyspark_port=<PySpark
服务器端口>
```
（2）在PySpark的
配置文件中，设置以下参数：
```
spark.authenticate=true
spark.authenticate.secret=<PySpark认证密钥>
```
### 回答2：
CDH6.3是一款开源的大
数据平台，它拥有众多的开源项目和工具，但是如果不能充分发挥这些工具的功能，即使搭建了
CDH6.3也无法完成
数据处理和分析任务。因此，在
CDH6.3中，我们不仅需要熟悉各个组件的
使用，还需要对它们进行
配置，以满足我们的具体需求。
Hue是
CDH6.3中非常流行的一个web
界面，它提供了对各种Hadoop组件的操作，包括MySQL、Hive、
HBase、Spark、SparkSQL和Pyspark。下面是它们的
配置过程：
MySQL
配置：在
Hue的
配置文件中，需要设置
数据库连接信息，包括
数据库类型、地址、端口、用户名和密码等。
配置好后，就可以在
Hue上操作MySQL
数据库。
Hive
配置：在
Hue中
配置Hive相关
配置需要设置一个元
数据库，可以
使用MySQL作为元
数据存储库，
配置还包括HDFS和YARN等相关
配置。完成
配置后，用户可以在
Hue上运行Hive查询。
HBase配置：在
Hue中
配置HBase需要
配置Hue和
HBase的一些参数，主要是关于
Hue的
HBase API的参数，以及
Hue主机的
HBase客户端
配置。完成
配置后，用户可以
使用HBase浏览器在
Hue上访问
HBase。
Spark
配置：在
Hue中集成Spark最直接的方法是通过Livy服务来连接Spark，
配置需要指定Spark主机地址和端口等参数。
配置好后，用户就可以在
Hue上运行Spark任务。
SparkSQL
配置：在
Hue中
配置SparkSQL需要在LIVY服务中设置SparkSQL的执行环境参数。由于SparkSQL依赖于Spark
集群，因此需要在Livy服务中指定Spark
集群的信息。同时，需要为Hive
配置一个metastore用于SparkSQL的元
数据存储。
Pyspark
配置：
Hue中集成Pyspark与Spark
配置类似，通过Livy服务连接Pyspark，需要指定Python路径和Pyspark程序路径等参数。
总之，通过
Hue配置CDH6.3中的组件，可以
使用户在Web
界面上方便的操作和管理各个组件，提高
数据处理和分析效率。
### 回答3：
CDH是一个基于Apache Hadoop生态系统的分布式
数据处理平台。
Hue是
CDH平台上一个重要的Web UI的组件，提供了图形
界面来管理大
数据。在
CDH6.3中，
Hue的
配置涉及集成多个组件，包括MySQL、Hive、
HBase、Spark、Spark SQL和PySpark。
集成MySQL：
1. 在
Hue配置文件中，开启MySQL的支持，启用以下参数：[[database]]，type=mysql，host=localhost，port=3306，user=
hueuser，password=
huepassword，name=
huedb。
2. 在MySQL中创建一个
Hue用户并授权，
使用以下命令：CREATE USER '
hueuser'@'<
Hue主机>' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON
huedb.* TO '
hueuser'@'<
Hue主机>';
3. 在
Hue服务器上安装MySQL JDK依赖项和MySQL客户端依赖项，运行以下命令：
sudo yum install mysql-connector-java --skip-broken
sudo yum install mysql --skip-broken
4. 重启
Hue服务。
集成Hive：
1. 在
Hue配置文件中，开启Hive的支持，启用以下参数：[[beeswax]]，hive_server_host=localhost，hive_server_port=10000。
2.
配置Hive JDBC驱动程序，将hive-jdbc.jar拷贝到
Hue服务器上，并在 /etc/
hue/conf/
hue.ini 中
配置以下：
[jdbc]
# The JDBC driver to use to connect to Hive
hive_jdbc_jar=/usr/hdp/current/hive-client/lib/hive-jdbc.jar
3. 重启
Hue服务。
集成
HBase：
1. 在
Hue配置文件中，开启
HBase的支持，启用以下参数：[[
hbase]]，
hbase_clusters=
CDHCluster，
hbase_clusters_live=
CDHCluster。
2. 将
HBase 配置文件复制到
Hue 安装目录 /etc/
hue/conf.dist 的 /etc/
hue/conf/ 目录中。
3.
使用以下命令指定
HBASE_HOME环境变量：
export
HBASE_HOME=/usr/lib/
hbase
4. 启动
Hue服务。
集成Spark 和 Spark SQL：
1. 在
Hue配置文件中，开启Spark和Spark SQL的支持，启用以下参数：
[[spark]]
livy_server_host=localhost
livy_server_port=8998
[[sparksql]]
pyspark_submit_args=--master yarn-cluster --deploy-mode client
2. 安装Livy
服务器，Livy是Spark的REST接口，通过Livy可以远程提交Spark作业。Livy
服务器和Spark
集群必须安装在同一台
服务器上。
3. 在/etc/
hue/conf/
hue.ini文件中
配置Livy
服务器信息：
[livy]
server_url=http://localhost:8998
4. 重启
Hue服务。
集成PySpark：
1. 在
Hue配置文件中，开启PySpark的支持，启用以下参数：[[spark]]，enable_pyspark=true，pyspark_submit_args=--master yarn-cluster --deploy-mode client。
2. 修改spark-env.sh文件，打开该文件并
配置以下参数：
export PYTHONPATH=/usr/lib/spark/python/:/usr/lib/spark/python/lib/py4j-0.9-src.zip:/usr/lib/
hue/tools/lib/python
3. 重启
Hue服务。
通过以上步骤，
CDH6.3中的
Hue已经成功集成了MySQL、Hive、
HBase、Spark、Spark SQL和PySpark，用户可以
使用Hue提供的Web UI来管理和查询大
数据集群。
最低0.47元/天 解锁文章
740
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
