离线安装CDH6

最新推荐文章于 2024-06-21 09:46:25 发布
最新推荐文章于 2024-06-21 09:46:25 发布
阅读量1k 收藏 2
点赞数
分类专栏： 安装部署 CDH Hadoop 文章标签： cloudera hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljj654/article/details/113877876
版权
安装部署 同时被 3 个专栏收录
11 篇文章 0 订阅
订阅专栏
Hadoop
3 篇文章 0 订阅
订阅专栏
CDH
1 篇文章 0 订阅
订阅专栏

基本环境

软件版本
操作系统中标麒麟高级服务器操作系统软件V7.0U6（nsV7Update6-adv-lic-build4-x86_64.iso）
JavaOracle JDK 1.8
数据库mysql 5.7

准备工作

服务器配置

附：服务器配置

安装包准备

  • CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel
  • CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha
  • manifest.json
  • cm6.2.1-redhat7.tar.gz
  • mysql-connector-java.jar
    附，百度网盘下载地址 ，提取码：aj91

准备Cloudera Manager Yum库

  1. 安装 httpd
  • yum install -y httpd
  1. 启动 httpd 服务
  • systemctl start httpd
  • systemctl enable httpd
  1. 将 cm6.2.1-redhat7.tar.gz 上传到cdh主节点的 /var/www/html 目录并解压
  2. 配置yum源
cd /etc/yum.repos.d
vi cloudera-manager.repo
添加以下内容：
[cloudera-manager]
name=cloudera-manager-6.2.1
# cdh是该服务器的主机名
baseurl=http://cdh/cm6.2.1/
gpgcheck=0
enabled=1
  1. yum clean all && yum makecache

安装Mysql

附：安装mysql

#CDH官方推荐的MySQL的配置内容：
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES

配置mysql驱动

上传 mysql-connector-java.jar 到 /opt 目录
mkdir -p /usr/share/java/
cp /opt/mysql-connector-java.jar /usr/share/java/

mysql中创建cdh所需数据库

！！！注意，库名不要包含特殊字符，最好仅由字母与数字组成

服务名数据库名用户名
Cloudera Manager Servermanager2cdhroot
Activity Monitormonitor2cdhroot
Huehue2cdhroot
Hive Metastore Serverhive2cdhroot
Oozieoozie2cdhroot

其他配置

为了避免安装集群时出现异常，请执行以下命令配置环境参数
sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

安装Server

安装 Cloudera Manager Server

yum install -y jdk cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
！！！过程中需要很多依赖包，要确保服务器配置步骤中的yum源可用
安装成功的目录结构如下图，若有不同，重新执行以上命令：
安装验证

配置本地Parcel存储库

将 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel，CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha，manifest.json 上传到 /opt/cloudera/parcel-repo 下
执行：
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
chmod 777 -R /opt/cloudera/parcel-repo

设置Cloudera Manager 数据库

执行：/opt/cloudera/cm/schema/scm_prepare_database.sh -v --host 192.168.200.1 --scm-host 192.168.200.100 -P3306 mysql manager2cdh root
参数说明：

  • --host：数据库主机名
  • --scm-host：cdh server主机名
  • -P：数据库端口号
  • mysql：数据库类型
  • manager2cdh：上面预创建的数据库名称
  • root：数据库连接用户名
    不报错，且出现：All done, your SCM database is configured correctly! 即为成功

启动Server

systemctl start cloudera-scm-server
启动过程中可以观察：/var/log/cloudera-scm-server/cloudera-scm-server.log
当出现：INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.时，说明启动成功了
浏览器访问：http://192.168.200.100:7180
默认的账号密码为：admin/admin

安装集群

版本选取

欢迎页，点击继续
欢迎页
接收条款，勾选接受，点击继续
版本选择，选择免费版，点击继续
版本选择

集群配置

欢迎页，点击继续
集群名称，输入：项目名称_CDH，如：BYJW_CDH
主机配置，输入主机网段，如：192.168.200.[100-102]
主机配置

勾选需要安装集群的主机，点击继续
选择存储库，这里选自定义存储库，配置上面我们准备好的Cloudera Manager Yum地址，这里是：http://cdh/cm6.2.1/
使用Parcel，如果之前的【配置本地Parcel存储库】步骤操作无误的话，这里会自动选择【使用Parcel】，并加载出CDH版本，确认无误后点击【继续】

  • 如果出现无法加载cdh版本的情况，尝试通过以下命令生成sha文件
  • cd /opt/cloudera/parcel-repo
  • mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha.bak
  • sha1sum CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel | awk '{ print $1 }' > CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha
  • chmod 777 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

安装JDK，两个选项都勾选上，避免后续检查失败
SSH登录配置，用于配置集群主机之间的SSH登录，填写root用户的密码，根据集群配置填写合适的【同时安装数量】值即可
安装Agent，到这一步会自动进行节点Agent的安装，稍等一会儿，即可安装完
安装Parcel，这一步同样是自动安装，分配步骤的速度主要取决于网络环境，耐心等待即可
主机检查（Inspect Hosts），点击Inspect Hosts按钮等待检查完成即可

  • 若状态为正常，但无法点击继续，可以选择最下方的选项：I understand the risks, let me continue with cluster creation.
  • 也可以点击显示检查器结果查看异常消息，根据异常消息百度解决问题，处理完毕后点击重新运行
    选择服务类型，选择自定义服务，HBase，HDFS，Hive，Hue，Impala，Yarn，Oozie，Zookeeper
    角色分配，根据主机的服务均衡性做一定的调整
    数据库设置，根据【mysql中创建cdh所需数据库】章节安装的数据库进行配置，配置完成后点击测试连接，测试通过继续
    审核更改，(这一步很重要)这里主要根据分区情况，将数据目录和日志目录分配到空间比较充裕的分区中去，包括：
  • HDFS 根目录(hbase.rootdir)
  • DataNode 数据目录(dfs.datanode.data.dir)
  • NameNode 数据目录(dfs.namenode.name.dir)
  • HDFS 检查点目录(dfs.namenode.checkpoint.dir)
  • NodeManager 本地目录(yarn.nodemanager.local-dirs)
  • 数据目录(dataDir)
  • 事务日志目录(dataLogDir)
    继续后，等待集群安装完成

安装客户端

附：安装教程

问题集锦

时钟偏差

安装ntp服务：yum install -y ntp ntpdate
修改配置：

ntp服务节点
# 设置对内网主机提供NTP服务，集群网关是192.168.20.1，允许内网其他机器同步时间
restrict 192.168.20.1 mask 255.255.255.0 nomodify notrap

# 指定上层对时的外部服务器，优先选择阿里云的时钟服务
server time6.aliyun.com perfer
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org

#允许上层时间服务器主动修改本机时间
restrict time6.aliyun.com nomodify notrap noquery
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 1.cn.pool.ntp.org nomodify notrap noquery
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 3.cn.pool.ntp.org nomodify notrap noquery

#外部时间服务器不可用时，设置以本地时间作为时间服务
server 127.127.1.0
fudge 127.127.1.0 stratum 10

ntp子节点
# 指定上层对时的外部服务器，192.168.20.30为配置了ntpd时钟服务端的节点IP
server 192.168.20.30 perfer
server time6.aliyun.com

#允许上层时间服务器主动修改本机时间
restrict 192.168.20.30 nomodify notrap noquery
restrict time6.aliyun.com nomodify notrap noquery

# 外部时间服务器不可用时，设置以本地时间作为时间服务
server 127.127.1.0
fudge 127.127.1.0 stratum 10
启用 ntp 服务

systemctl start ntpd
systemctl enable ntpd
初始时间同步

ntpdate -u time6.aliyun.com
同步系统时间到硬件

hwclock --systohc
linjj91
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
基于麒麟v10-sp3离线搭建CDH6.3.1
忆网
08-01 1538
7.9SLES12 SP5UbuntuUbuntu由于下载的CDH版本是不支持麒麟OS的，CM在分配CDH安装包是会校验操作系统版本，主要是指安装包后缀 el7 / el6等，麒麟操作系统后缀是ky10，不在CDH支持列表中。这种方式不是直接获取操作系统信息，故而不能通过修改/etc/redhat-release解决一、解决方案1）修改代码。由于CDH是闭源产品修改代码比较复杂。2）由于CDH本身不支持an后缀直接返回unknown，所以可以通过构造一个对应的parcel解决。
CDH6.3.*离线安装
shoufeng
12-11 3784
安装之前准备： 安装环境：三台centos7虚拟机：分别为node1（16g内存）、node2（4g内存）、node3（4g内存） 两个极有帮助的脚本 集群同步脚本 1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@node1 ~]$ mkdir bin [root@node1 ~]$ cd bin/ [root@node1 bin]$ vi x...
CDH+Kylin三部曲之二：部署和设置(1)
2401_84408217的博客
04-17 1159
搞定算法，面试字节再不怕，有需要文章中分享的这些二叉树、链表、字符串、栈和队列等等各大面试高频知识点及解析最后再分享一份终极手撕架构的大礼包(学习笔记)：分布式+微服务+开源框架+性能优化《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！笔记)：分布式+微服务+开源框架+性能优化**[外链图片转存中…(img-ReEotNwP-1713311032137)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
安装CDH时报错：Parcel 不可用于操作系统分配 RHEL7，原因与解决办法～
最新发布
luckysign的博客
06-21 364
2、目录里面需要有xxx.parcel xxx.parcel.sha manifest.json 三个文件 缺一不可（注：文件添加不后需要重启，有人说需要重启，这个根本没有必要）安装时不需要修改后缀名称，麒麟系统安装时才需要修改。1、检查CDH包的后缀名称，
CDH大数据平台部署安装（详细）
m0_73800495的博客
06-12 1590
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
kylin2.1.0+cdh5.10.1+安装部署+官方测试例子详细教程
请叫我架构师，谢谢！
09-01 9628
kylin2.1.0在cdh5.10.1详细安装教程+kylin官方数据测试
非常详细的CDH6环境安装（离线版）
笑里笑外~
10-18 6506
大数据学习总结系列——CDH6环境安装（离线版）CDH6环境安装（离线版）一、预备阶段1. 集群机器2. 准备安装包二、环境安装（关闭防火墙~）1.修改hostname和hosts(所有节点)2.SSH免密登录（所有节点）3.配置NTP服务（所有节点）4.安装JDK（所有节点）5.安装Mysql5.安装CM组件(所有节点)总结 CDH6环境安装（离线版） 官网介绍:          CDH是Cloudera的100％开源平台发行版
CDH6离线部署
hyfstyle的博客
11-30 1883
CDH6.3.1 离线安装部署 一、服务器准备，CDH相关安装包准备好 都上传到服务器/home 目录下 （一）修改hosts和hostname文件 更新 /etc/hosts 和 /etc/hostname 文件 用xshell或者CRT工具远程连接这些服务器，选中交互窗口，相同的命令输入 一键发送 # IP地址和主机名根据实际情况替换 echo "10.10.10.1 cdh001" >> /etc/hosts echo "10.10.10.2 cdh002" >> /etc/
CDH6.1.1全离线安装RPM依赖包
03-02
依赖基于OS版本为CentOS-7-x86_64-Minimal-1810.iso，其他的系统可能依赖不同，请自主选择，其中包含的rpm安装包有： bind-utils, cyrus-sasl, fuse, fuse-libs, httpd, libtidy, libxslt, mod_ssl, mysql-python, nc, net-tool, ntp, openssl-devel, portmap, python-psycopg2, python-setuptools, redhat-lsb
CDH6.0.1离线安装
login_sonata的博客
07-05 3015
计划用vmware虚拟机安装三个节点，其中Cloudera Manager Server一台（用来管理），cdh两台（Hadoop主从）。所有操作在root用户下进行。 版本： 软件 版本 os CentOS Linux release 7.5.1804 jdk 1.8.0_141 cm（Cloudera Manager） cm6（6.0.1） cdh（Parcels）...
CDH6.3.1详细安装教程及安装包(包括视频教程)
05-31
CDH 大数据平台安装包,版本 6.3.1 本人亲测可以使用,如果安装有问题可以QQ沟通:417318838 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 cm6.3.1-redhat7.tar.gz jdk-8u181-linux-x64.tar.gz mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz mysql-connector-java-5.1.47.jar
Ambari-2.7.4.0 + HDP-3.1.4.0网盘地址.txt
04-20
Cloudera收费之后，CDH和HDP都需要订阅才能下载，这里是网盘地址，欢迎大家下载。内容包括ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，链接失效或者部署过程中遇到任何问题可以私信我，同时列举了几条之前项目环境部署过程中遇到过的问题及解决办法，有爱好大数据领域的同学也可以私信我交流，互相学习，共同进步。
CentOS7 简易版离线安装CDH14.docx
04-29
CentOS 7 简易版离线安装 CDH 14 本文档将指导读者在 CentOS 7 环境下离线安装 CDH 14，并对相关知识点进行详细解释。 知识点 1：CDH 介绍 CDH（Cloudera Distribution of Hadoop）是 Cloudera 公司开发的一款...
centos7.4下离线安装CDH5.14
03-22
一步一步详细解析centos7.4下离线安装CDH5.14 一步一步详细解析centos7.4下离线安装CDH5.14 一步一步详细解析centos7.4下离线安装CDH5.14
cdh6.3.1离线完整版（百度网盘下载）
08-04
CDH安装包
Centos.离线安装CDH..生产环境详细教程(含Spark.).docx
05-19
### Centos离线安装CDH生产环境详细教程(含Spark.) #### 一、概述 本文档将详细介绍如何在CentOS环境下进行CDH集群的离线安装，并特别关注于包含Spark在内的生产级部署流程。Cloudera提供的CDH（Cloudera ...
CDH6.3.2+centos7完全离线下安装手册
09-12
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 manifest.json CentOS-7-x86_64-DVD-1611...离线安装CDH6.3.2.docx
CentOS6.5离线安装CDH-5.13.1详细步骤
在本文档中，我们将详细介绍如何在CentOS 6.5环境下离线安装CDH 5.13.1。CDH (Cloudera Distribution Including Apache Hadoop) 是Cloudera公司提供的一个企业级Hadoop发行版，包含了多个大数据处理组件，如HDFS、...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值