CDH6.3.1部署

已于 2022-05-23 21:04:24 修改
阅读量2k 收藏 5
点赞数
分类专栏： Hadoop 其他 应用部署 文章标签： 大数据
于 2022-03-18 22:26:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51197424/article/details/123585976
版权
其他 同时被 3 个专栏收录
13 篇文章 0 订阅
订阅专栏
应用部署
13 篇文章 0 订阅
订阅专栏
Hadoop
7 篇文章 0 订阅
订阅专栏
本文档详细介绍了如何在虚拟机环境下配置CDH集群，包括资源配置、免密操作、JDK和MySQL的安装、数据库创建、CM相关jar上传与安装、配置文件修改、启动服务以及解决过程中遇到的问题，如Java版本不兼容和磁盘空间不足等。最终成功启动CM服务器并完成集群部署，为后续服务安装做好准备。
摘要由CSDN通过智能技术生成

CDH部署

1.准备工作

资源有限，使用虚拟机进行如下配置

机器配置

IP主机名配置
192.168.130.221CDH14G 2处理器 60G磁盘
192.168.130.222CDH22G 1处理器 20G磁盘
192.168.130.223CDH32G 1处理器 20G磁盘

建议配置

IP主机名配置
192.168.130.221CDH18G 4处理器 80G磁盘
192.168.130.222CDH24G 2处理器 50G磁盘
192.168.130.223CDH34G 2处理器 50G磁盘

1.1 免密操作

cd /root/.ssh
[root@CDH1 .ssh]# ssh-keygen -t rsa
[root@CDH1 .ssh]# ssh-copy-id CDH1
[root@CDH1 .ssh]# ssh-copy-id CDH2
[root@CDH1 .ssh]# ssh-copy-id CDH3

[root@CDH2 .ssh]# ssh-keygen -t rsa
[root@CDH2 .ssh]# ssh-copy-id CDH1
[root@CDH2 .ssh]# ssh-copy-id CDH2
[root@CDH2 .ssh]# ssh-copy-id CDH3

[root@CDH3 .ssh]# ssh-keygen -t rsa
[root@CDH3 .ssh]# ssh-copy-id CDH1
[root@CDH3 .ssh]# ssh-copy-id CDH2
[root@CDH3 .ssh]# ssh-copy-id CDH3

1.2 安装JDK

使用以往安装的JDK(这样做在启动CM server的时候会遇到问题，如果想跳过问题，请看2.7目录下的重装jdk)

1.3 安装MySQL

安装后创建如下数据库

## 查看是否有MySQL服务
[root@CDH1 software]# rpm -qa|grep -i mysql
mysql-community-release-el6-5.noarch
## 如果有，先卸载
[root@CDH1 software]# rpm -e --nodeps mysql-community-release-el6-5.noarch
## 删除原有MySQL依赖
[root@CDH1 software]# yum remove mysql-libs
## 下载MySQL依赖
[root@CDH1 software]# yum install libaio
[root@CDH1 software]# yum -y install autoconf
[root@CDH1 software]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
[root@CDH1 software]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
[root@CDH1 software]# rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm
[root@CDH1 software]# rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

安装服务端

## 安装MySQL服务端
[root@CDH1 software]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
## 查看随机产生的密码
[root@CDH1 software]# cat /root/.mysql_secret
# The random password set for the root user at Sun Mar 13 16:16:04 2022 (local time): 0bVp5O9LI0UmHPo3
## 查看MySQL状态并启动
[root@CDH1 software]# service mysql status
 ERROR! MySQL is not running
[root@CDH1 software]# service mysql start
Starting MySQL.. SUCCESS!
[root@CDH1 software]#

MySQL客户端

## 安装MySQL客户端
[root@CDH1 software]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
## 连接MySQL
[root@CDH1 software]# mysql -uroot -p0bVp5O9LI0UmHPo3
## 修改密码
mysql> set password=password('111213');
## 退出
mysql> exit

MySQL权限

mysql> use mysql;
mysql> select user,host from user;
mysql> update user set host='%' where host='localhost';
mysql> delete from user where host!='%';
mysql> flush privileges;
mysql> quit;

MySQL建库

1）创建各组件需要的数据库
mysql> GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

1.4 MySQL连接jar

上传mysql-connector-java-5.1.27-bin.jar到/usr/share/java

[root@CDH1 lib]# mkdir /usr/share/java
[root@CDH1 lib]# cp mysql-connector-java.jar  /usr/share/java
[root@CDH1 lib]# cd /usr/share/java
[root@CDH1 java]# ls
mysql-connector-java.jar
[root@CDH1 java]# scp -r mysql-connector-java.jar CDH2:/usr/share/
root@cdh2's password:
mysql-connector-java.jar                                                                        
[root@CDH1 java]# scp -r mysql-connector-java.jar CDH3:/usr/share/
root@cdh3's password:
mysql-connector-java.jar

1.5 CM上传jar

[root@CDH1 software]# tar -zxvf cm6.3.1-redhat7.tar.gz -C /opt/apps/
cm6.3.1/
cm6.3.1/RPM-GPG-KEY-cloudera
cm6.3.1/RPMS/
cm6.3.1/RPMS/x86_64/
cm6.3.1/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cm6.3.1/RPMS/x86_64/enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
cm6.3.1/RPMS/x86_64/cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
cm6.3.1/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cm6.3.1/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
cm6.3.1/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cm6.3.1/RPMS/noarch/
cm6.3.1/repodata/
cm6.3.1/repodata/3662f97de72fd44c017bb0e25cee3bc9398108c8efb745def12130a69df2ecb2-filelists.sqlite.bz2
cm6.3.1/repodata/repomd.xml
cm6.3.1/repodata/49e4d60647407a36819f1d8ed901258a13361749b742e3be9065025ad31feb8e-filelists.xml.gz
cm6.3.1/repodata/8afda99b921fd1538dd06355952719652654fc06b6cd14515437bda28376c03d-other.sqlite.bz2
cm6.3.1/repodata/43f3725f730ee7522712039982aa4befadae4db968c8d780c8eb15ae9872cd4d-primary.xml.gz
cm6.3.1/repodata/repomd.xml.asc
cm6.3.1/repodata/b9300879675bdbc300436c1131a910a535b8b5a5dc6f38e956d51769b6771a96-primary.sqlite.bz2
cm6.3.1/repodata/e28836e19e07f71480c4dad0f7a87a804dc93970ec5277ad95614e8ffcff0d58-other.xml.gz
cm6.3.1/repodata/repomd.xml.key
cm6.3.1/SRPMS/
[root@CDH1 software]#

1.6 将指定文件复制到创建的cloudera-manager

[root@CDH1 /]# mkdir /opt/cloudera-manager

[root@CDH1 x86_64]# pwd
/opt/apps/cm6.3.1/RPMS/x86_64
[root@CDH1 x86_64]# cp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@CDH1 x86_64]# cp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@CDH1 x86_64]# cp cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/

2.安装CM

CDH1CDH2CDH3
cloudera-scm-server
cloudera-scm-agent		cloudera-scm-agentcloudera-scm-agent

2.1 安装cloudera-manager-daemons

CDH1

## 安装
[root@CDH1 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
警告：cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID b0b19c9f: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:cloudera-manager-daemons-6.3.1-14################################# [100%]

## 安装后在opt目录下生成cloudera文件
[root@CDH1 cloudera-manager]# cd ..
[root@CDH1 opt]# ls
apps  cloudera  cloudera-manager  lib  software
[root@CDH1 opt]# cd cloudera
[root@CDH1 cloudera]# ll
总用量 12
drwxr-xr-x. 27 cloudera-scm cloudera-scm 8192 3月  12 15:51 cm
[root@CDH1 cloudera]#

## 将cloudera-manager下目录复制到CDH2和CDH3
[root@CDH1 cloudera-manager]# scp -r /opt/cloudera-manager/ CDH2:/opt/                           
[root@CDH1 cloudera-manager]# scp -r /opt/cloudera-manager/ CDH3:/opt/

CDH2

[root@CDH2 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@CDH2 opt]# ls
apps  cloudera  cloudera-manager  software

CDH3

[root@CDH3 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@CDH3 opt]# ls
apps  cloudera  cloudera-manager  software

2.2 安装cloudera-manager-agent

CDH1

## 安装预备环境

[root@CDH1 cloudera]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.163.com
 * extras: mirrors.nju.edu.cn
 * updates: mirrors.ustc.edu.cn

更新完毕:
  httpd.x86_64 0:2.4.6-97.el7.centos.4

作为依赖被升级:
  cyrus-sasl-lib.x86_64 0:2.1.26-24.el7_9        e2fsprogs.x86_64 0:1.42.9-19.el7         e2fsprogs-libs.x86_64 0:1.42.9-19.el7        httpd-tools.x86_64 0:2.4.6-97.el7.centos.4
  krb5-libs.x86_64 0:1.15.1-51.el7_9             libcom_err.x86_64 0:1.42.9-19.el7        libselinux.x86_64 0:2.5-15.el7               libselinux-python.x86_64 0:2.5-15.el7
  libselinux-utils.x86_64 0:2.5-15.el7           libss.x86_64 0:1.42.9-19.el7             openssl.x86_64 1:1.0.2k-24.el7_9             openssl-libs.x86_64 1:1.0.2k-24.el7_9
  zlib.x86_64 0:1.2.7-19.el7_9

完毕！

## 安装cloudera-manager-agent
[root@CDH1 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
警告：cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID b0b19c9f: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:cloudera-manager-agent-6.3.1-1466################################# [100%]
Created symlink from /etc/systemd/system/multi-user.target.wants/cloudera-scm-agent.service to /usr/lib/systemd/system/cloudera-scm-agent.service.
Created symlink from /etc/systemd/system/multi-user.target.wants/supervisord.service to /usr/lib/systemd/system/supervisord.service.
[root@CDH1 cloudera-manager]#

CDH2

[root@CDH2 opt]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt


[root@CDH2 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

CDH3

[root@CDH3 cloudera]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt

[root@CDH3 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

2.3 安装agent的server节点

[root@CDH1 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=CDH1
[root@CDH2 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=CDH1
[root@CDH3 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=CDH1

2.4 安装cloudera-manager-server

[root@CDH1 cloudera-manager]# rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
警告：cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID b0b19c9f: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:cloudera-manager-server-6.3.1-146################################# [100%]
Created symlink from /etc/systemd/system/multi-user.target.wants/cloudera-scm-server.service to /usr/lib/systemd/system/cloudera-scm-server.service.
[root@CDH1 cloudera-manager]#

2.5 上传指定文件到parcel-repo

## 如下三个文件皆为上传
[root@CDH1 parcel-repo]# ls
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel  CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1  manifest.json
[root@CDH1 parcel-repo]# mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
[root@CDH1 parcel-repo]#

2.6 修改server的db.properties

[root@CDH1 parcel-repo]# vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH1:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=111213
com.cloudera.cmf.db.setupType=EXTERNAL

2.7 启动server服务


[root@CDH1 java]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
Enter SCM password: scm
JAVA_HOME=/opt/apps/jdk1.8.0_261
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing:  /opt/apps/jdk1.8.0_261/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

[root@CDH1 schema]# systemctl start cloudera-scm-server

启动失败

## 查看启动状态，发现报错，而且在日志目录/var/log/cloudera-scm-server下也找不到相关文件
[root@CDH1 cm]# systemctl status cloudera-scm-server

## 使用如下命令查看原因，发现是Java找不到，但是我这里已经安装成功并可以使用，
## 经查询发现，他自动检查/usr/java目录下的jdk，所以这里需要重装一下
[root@CDH1 cm]# journalctl -xe
Error: Unable to find a compatible version of Java on this host,
 either because JAVA_HOME has not been set or because a   
 compatible version of Java is not installed.             
Please install either:

重装jdk

[root@CDH1 software]# mkdir /usr/java
[root@CDH1 software]# tar -zxvf jdk-8u261-linux-x64.tar.gz  -C /usr/java/

## CDH1安装jdk,配置环境
[root@CDH1 jdk1.8.0_261]# pwd
/usr/java/jdk1.8.0_261
[root@CDH1 jdk1.8.0_261]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_261
export PATH=$PATH:${JAVA_HOME}/bin
export CLASS_PATH=./${JAVA_HOME}/lib
[root@CDH1 jdk1.8.0_261]# source /etc/profile

## 将JDK和配置文件分发到CDH2和CDH3
[root@CDH1 jdk1.8.0_261]# scp -r /usr/java/ CDH2:/usr/
[root@CDH1 jdk1.8.0_261]# scp -r /usr/java/ CDH3:/usr/

[root@CDH1 usr]# scp /etc/profile CDH2:/etc/
[root@CDH2 /]# source /etc/profile
[root@CDH1 usr]# scp /etc/profile CDH3:/etc/
[root@CDH3 /]# source /etc/profile

## 本次启动成功
[root@CDH1 schema]# systemctl start cloudera-scm-server

2.8 启动agent节点

[root@CDH1 cloudera-manager]# systemctl start cloudera-scm-agent
[root@CDH2 cloudera-manager]# systemctl start cloudera-scm-agent
[root@CDH3 cloudera-manager]# systemctl start cloudera-scm-agent

2.9 查看启动日志

## 等待一分钟左右，出现7180端口，说明成功
[root@CDH1 cloudera-scm-server]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
2022-03-12 17:48:31,470 INFO SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Generating documents:2022-03-12T09:48:31.470Z
2022-03-12 17:48:31,569 INFO SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Num docs:239
2022-03-12 17:48:31,589 INFO SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Constructing repo:2022-03-12T09:48:31.589Z
2022-03-12 17:48:32,834 INFO SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Finished constructing repo:2022-03-12T09:48:32.834Z
2022-03-12 17:48:33,631 INFO WebServerImpl:org.eclipse.jetty.server.Server: jetty-9.4.14.v20181114; built: 2018-11-14T21:20:31.478Z; git: c4550056e785fb5665914545889f21dc136ad9e6; jvm 1.8.0_261-b12
2022-03-12 17:48:33,841 INFO WebServerImpl:org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@32331fcb{HTTP/1.1,[http/1.1]}{0.0.0.0:7180}

3.0 登录查看

http://192.168.130.221:7180

用户名：admin

密码：admin

在这里插入图片描述

3.0 CM集群部署

3.1 接受条款和协议

3.11 继续

在这里插入图片描述

3.12 勾选，继续

在这里插入图片描述

3.13 选择Cloudera Express免费版

在这里插入图片描述

3.2 集群安装

3.21 继续

在这里插入图片描述

3.22 自定义集群名称，继续

在这里插入图片描述

3.23 当前管理的主机，选择已有主机

在这里插入图片描述

3.24 选择CDH版本6.3.2

在这里插入图片描述

3.25 等待安装

在这里插入图片描述

3.26 检查网络性能,依次点击inspect network performance 和 inspect hosts

在这里插入图片描述

3.27 网络正常，主机查看检查结果

在这里插入图片描述

在这里插入图片描述

3.28 出现两个问题，依次解决

在这里插入图片描述

3.29 重新运行

[root@CDH1 opt]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@CDH1 opt]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@CDH2 opt]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@CDH2 opt]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@CDH3 opt]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@CDH3 opt]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

重新运行

在这里插入图片描述

3.210 重新查看结果

在这里插入图片描述

临时设置：重启后失效

[root@CDH1 opt]# sysctl vm.swappiness=10
[root@CDH2 opt]# sysctl vm.swappiness=10

[root@CDH3 opt]# sysctl vm.swappiness=10

等重启后，设置如下：

echo ‘vm.swappiness=10’>> /etc/sysctl.conf

再次检查运行

3.211 再次检查运行

在这里插入图片描述

到这里CM管理平台就配置好了

3.3 安装服务

3.31 自定义服务

在这里插入图片描述

3.32 在自定义服务中，首先选择HDFS，zookeeper，yarn

在这里插入图片描述

3.33 分配节点

在这里插入图片描述

3.34 审核更改，默认即可

在这里插入图片描述

3.35 三台机器配置不足安装HDFS，YARN，Zookeeper

在这里插入图片描述

在这里插入图片描述

4.0 问题集成

4.1 磁盘空间不足导致

## 查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
## 异常日志
[12/Mar/2022 21:27:20 +0000] 1134 Thread-13 downloader   INFO     Failed adding torrent: file:///opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent Already present torrent: CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

[12/Mar/2022 21:31:51 +0000] 1134 Thread-13 downloader   ERROR    Failed op: Src file /opt/cloudera/parcels/.flood/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel does not exist
## 分析日志为磁盘空间不足


## 建议：应将虚拟机磁盘空间设置大于50G

4.2 磁盘不干净导致

## 磁盘空间不干净，导安装agent的出现版本冲突
file /usr/lib/systemd/system/supervisord.service from install of cloudera-manager-agent-6.3.1-1466458.el7.x86_64 conflicts with file from package supervisor-3.4.0-1.el7.noarch

## 建议：使用干净的机器

4.3 /dev/mapper/centos-root使用率百分之百

/dev/mapper/centos-root 磁盘慢的问题
## 通过这个命令查询哪个目录下的文件太占用空间，进行删除，我这里主要删除了software下的无用的安装包
[root@CDH1 software]# cd / && du -h -x --max-depth=1
DATA数据猿
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CDH6.2安装手册
形而上者谓之道 形而下者谓之器
03-04 2549
CDH6.2安装手册 一、系统信息： 1.系统配置及软件环境： cpu：16c mem：47g+swap2g disk：/ 17g xfs /data 500g xfs net：10000M/s CentOS Linux release 7.4.1708 (Core) CDH6.2.0 CDSW1.6.0 mysql5.7 jdk1.8.0_221 mysql-co...
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
CDH 6.3.1离线安装
weixin_40283268的博客
10-12 273
1、yarn服务报错：jobHistory server 角色进程退出，报“Error creating done directory: [hdfs://cdh01:8020/user/history/done]”将“远程Parcel存储库URL”修改为“http://cdh01/cdh6_parcel/”，其余的全部删掉，只保留这一个。保存修改，点击继续。这里内存配置为：12G、3G、3G，磁盘空间配置为：50G、50G、50G，可根据需要自行调整。选择“自定义服务”，勾选需要安装的组件，点击继续。
CDH6.3.1安装部署
kkHMou的博客
03-30 614
硬件环境 服务器4台： 192.168.10.99 cm 4核8G CentOS7.5 192.168.10.100 matser 8核24G CentOS7.5 192.168.10.110 node1 8核16G CentOS7.5 192.168.10.120 node2 8核16G CentOS7.5 注：cm节点因为硬件资源原因只部署cloudera相关服务，zk等服务都部署在另外三个节点上面。 如果是生产集群的话，也建议CM单
CDH6.3.1安装
Allenzyg的博客
05-28 5774
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )
热门推荐
wt334502157的博客
09-14 5万+
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间
CDH 6.3.1正式环境安装过程及注意事项，帮你一步到位
xuye0606的博客
08-16 2534
第一部分 环境检查及准备： 1.1 基础环境及镜像包准备 1.1.1 基础环境要求 名称 地址 操作系统 root密码 cdh-0001 10.1.0.30 Centos 7.7 ***** cdh-0001 10.1.0.105 Centos 7.7 cdh-0001 .
CDH6.3.1配套CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
06-01
博主CDH6.3.1配套CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1，仅仅限制安装博主文章中CDH-6.3.1-中使用
CDH6.3.1离线部署
09-23
CDH6.3.1版本离线部署，包含：集群初始化、JDK部署、MySQL离线部署、部署CM server和agent rpm
cdh6.3.1+cm6.3.1安装包-cdh安装包大全
09-05
通过上述步骤，你可以成功地在Redhat7或CentOS7环境中部署和管理一个CDH6.3.1 + CM6.3.1的集群。这个过程中，`cdh6.3.1 + cm6.3.1.txt`文件可能包含了详细的安装指南、配置参数或者是一些重要的提示信息，务必仔细...
CDH6.3安装指南.pdf
09-11
最详细的CDH6.3安装指南，可以一步步按照文档进行安装，并且整理了安装介质（通过百度网盘下载）。
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
CDH 6.3.1 ranger ranger-2.1.0-admin.tar.gz
11-04
《CDH 6.3.1与Ranger 2.1.0-Admin模块详解》 在大数据领域，Cloudera Data Hub (CDH) 是一个广泛应用的企业级Hadoop发行版，它提供了一整套开源大数据工具和服务。CDH 6.3.1 版本是其中的一个重要迭代，它包含了...
CDH6.3.1 Http方式部署
Nice的博客
04-28 748
一、准备工作 1.离线部署主要分为三块 a.MySQL离线部署 b.CM离线部署 c.Parcel⽂文件离线源部 节点 MySQL Parcel离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002 DN NM hadoop003 DN NM ...
CDH6.3.1 企业级真正离线部署 (踩坑+总结)
涵sir的博客
10-14 2537
前言 大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。手工部署，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当设计多个组件时，用户须自己解决组件间版本兼容问题；工具部署，比如Ambari或Cloudera Manger。（当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在
记录一下CDH重装遇到的问题：
weixin_44205301的博客
08-26 715
python2和python3的部分语法区别：捕获异常：2.X使用，连接异常类型和异常变量名，3.0则使用as连接在Python2中，我们可以使用这样的语句进行异常处理：try:（空）#put your code hereexcept Exception, e:（空）print str(e)在Python3中，我们要使用这样的语句：try:（空）#put your code hereexcept Exception as e:（空）print (str(e))
redis集群创建的时候，一直卡在Waiting for the cluster to join ....上、一直没有反应。...
DiKeLuoNa
11-18 218
1.问题： 搭建Redis集群的过程中，执行到cluster create : … 的时候，发现程序发生阻塞，显示：Waiting for the cluster to join 的字样，然后就无休无尽的等待… 2.解决方法： 开放redis集群总线端口。 集群总线 每个Redis集群中的节点都需要打开两个TCP连接。一个连接用于正常的给Client提供服务，比如6379，还有一个额外的端口(通...
CDH网络接口速度错误
qq_43689775的博客
09-01 636
问题：存在隐患 : 以下网络接口似乎未以全速运行：virbr0-nic。2 主机网络接口似乎以全速运行。将网络接口收集排除正则表达式：^virbr，然后重启cdh，所有主机的警告就会消失。在这个问题中可以看到时关于virbr0-nic的错误提示，所以我们最后操做改的是。系统在下面提供了几个操作选择，但是这些操作可能无法解决这个问题。出现这个警告会导致很多组件的状态变成黄色，提示会有安全隐患。cdh安装完成后，似乎都会出现这个问题，提示存在隐患。3、如果还有别的解决办法，还有在评论区讨论，相互交流。
《Hadoop系列》Hadoop问题处理记录
https://blog.datasource.space
08-11 9056
1.ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. 2.云服务器启动hadoop,namenode没启动起来 3.Failed to start namenode,Directory /tmp/hadoop-root/dfs/name is in an inconsistent state
cdh6.3.1parcel
最新发布
12-04
CDH 6.3.1 Parcel是支持Cloudera大数据平台的一种软件安装和部署方式。Parcel是一种二进制软件包的格式，用于在CDH集群中分发和安装各种组件和服务。CDH 6.3.1 Parcel即表示适用于CDH版本6.3.1的Parcel软件包。 CDH 6.3.1 Parcel是由Cloudera官方提供的，其中包含了一系列的开源大数据组件和工具，例如Hadoop、Hive、Spark、HBase等。这些组件和工具可以帮助用户处理和分析大规模的结构化和非结构化数据。它们被构建为高度扩展和分布式的系统，具有高可靠性和可伸缩性。 使用CDH 6.3.1 Parcel能够简化大数据平台的安装和管理过程。它可以通过Cloudera Manager进行集中管理和监控，用户可以通过Cloudera Manager进行集群的配置和升级，同时也提供了一套丰富的图形界面和命令行工具帮助用户管理和监控集群的运行状态。 CDH 6.3.1 Parcel还支持自定义配置和扩展。用户可以根据自己的需求进行集群的配置和组件的安装，同时还可以根据需要添加第三方工具和插件。这为用户提供了更大的灵活性和可定制性，可以根据自己的需求构建适合自己业务场景的大数据平台。 总之，CDH 6.3.1 Parcel是一种方便的软件包格式，用于安装和部署Cloudera大数据平台的各种组件和服务。它简化了集群的管理和监控，提供了灵活的配置和扩展选项，帮助用户构建高效、可靠的大数据集群。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DATA数据猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值