cdh mysql_CDH 依赖的MySQL 数据库安装配置说明

1 背景说明

根据CDH 官网文档的说明,CDH的如下组件必须有数据库的支持才能运行: Cloudera Manager Server, Oozie Server, Sqoop Server, Activity Monitor, Reports Manager, Hive Metastore Server, Hue Server, Sentry Server, Cloudera Navigator Audit Server, 和 Cloudera Navigator Metadata Server.

https://www.cndba.cn/dave/article/3374

https://www.cndba.cn/dave/article/3374

组件

数据说明及大小

Cloudera Manager Server

Contains all the information about services you have configured and their role assignments, all configuration history, commands, users, and running processes. This relatively small database (< 100 MB) is the most important to back up.

该数据非常重要,当这部分配置数据不能访问时,CM也将无法启动。建议定期对该数据进行备份。

Oozie Server

Contains Oozie workflow, coordinator, and bundle data. Can grow very large.

Sqoop Server

Contains entities such as the connector, driver, links and jobs. Relatively small.

Activity Monitor

Contains information about past activities. In large clusters, this database can grow large. Configuring an Activity Monitor database is only necessary if a MapReduce service is deployed.

Reports Manager

Tracks disk utilization and processing activities over time. Medium-sized.

Hive Metastore Server

Contains Hive metadata. Relatively small.

Hue Server

Contains user account information, job submissions, and Hive queries. Relatively small.

Sentry Server

Contains authorization metadata. Relatively small.

Cloudera Navigator Audit Server

Contains auditing information. In large clusters, this database can grow large.

Cloudera Navigator Metadata Server

Contains authorization, policies, and audit report metadata. Relatively small.

CDH 支持MariaDB,MySQL,PostgreSQL和Oracle 数据库来存储这些组件的数据。 我们这里仅看MySQL数据库的安装配置。https://www.cndba.cn/dave/article/3374https://www.cndba.cn/dave/article/3374

2 MySQL 安装配置

2.1 注意事项

CDH对MySQL有一些限制,具体如下:https://www.cndba.cn/dave/article/3374

1) 对于MySQL 5.6 以后的版本,Cloudera Manager Agent包的安装依赖MySQL-shared-compat 或MySQL-shared包,所以在安装数据库时必须安装这2个MySQL包。

2) MySQL默认的datadir 目录是/var/lib/mysql,要确保该目录存在的分区有足够的空间。

3) 如果MySQL 启用了GTID复制,会导致Cloudera Manager安装失败。

4) 对于5.6.6以后版本的MySQL,在安装或升级Cloudera Navigator时,必须确保MySQL 服务的系统变量:explicit_defaults_for_timestamp被禁用(设置为0),否则会导致操作失败。https://www.cndba.cn/dave/article/3374https://www.cndba.cn/dave/article/3374

2.2 安装MySQL

从官网下载Mysql文件,注意这里要下载5.6. 因为5.7 的安装文件里没有MySQL-shared包。https://www.cndba.cn/dave/article/3374

[root@www.cndba.cn dave]# ls

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH 6.2 中配置 Hive,需要执行以下步骤: 1. 安装 MySQL 或 MariaDB 数据库,并创建一个新的数据库和用户,用于 Hive 元数据存储。 2. 在 Hive 配置文件中设置元数据存储的 JDBC 连接参数。打开 `/etc/hive/conf/hive-site.xml` 文件,添加以下内容: ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://<mysql_host>:<mysql_port>/<hive_metastore_db_name>?createDatabaseIfNotExist=true</value> <description>metadata is stored in a MySQL server</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>MySQL JDBC driver class</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value><hive_metastore_db_user></value> <description>user name for connecting to mysql server</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value><hive_metastore_db_password></value> <description>password for connecting to mysql server</description> </property> ``` 其中,`<mysql_host>` 为 MySQL 主机名或 IP 地址,`<mysql_port>` 为 MySQL 端口号,`<hive_metastore_db_name>` 为 Hive 元数据存储的数据库名称,`<hive_metastore_db_user>` 和 `<hive_metastore_db_password>` 分别为连接 MySQL 数据库的用户名和密码。 3. 配置 Hadoop HDFS,创建 Hive 所需的 HDFS 目录。例如,可以执行以下命令: ```bash hdfs dfs -mkdir /user/hive/warehouse hdfs dfs -chmod g+w /user/hive/warehouse ``` 4. 启动 Hive Metastore 服务。可以使用以下命令启动: ```bash sudo systemctl start hive-metastore ``` 5. 启动 HiveServer2 服务。可以使用以下命令启动: ```bash sudo systemctl start hive-server2 ``` 6. 使用 Hive 命令行客户端测试配置是否成功。可以使用以下命令: ```bash hive ``` 如果成功配置,将会进入到 Hive 命令行界面。 以上就是在 CDH 6.2 中配置 Hive 的步骤,如果有需要可以参考。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值