CDH6离线安装步骤遇到问题及解决方案

最新推荐文章于 2024-09-06 23:10:32 发布
最新推荐文章于 2024-09-06 23:10:32 发布
阅读量2.2k 收藏 12
点赞数 18
分类专栏： linux 文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huagedao/article/details/114675673
版权

centos7 安装CDH6集群

环境安装包准备

centos7安装包下载

使用VMware虚拟机安装centos7

克隆虚拟机(至少克隆三台虚拟机) 我的配置(4G内存 8和处理器 100G 硬盘)

下载cdh包

下载地址:

​ https://archive.cloudera.com/cdh6/6.2.1/parcels/
​ https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

安装(克隆)虚拟机

安装VMware

解压安装包 下一步傻瓜式安装

安装Linux 系统

打开VMware 创建虚拟机

在这里插入图片描述

选择自定义安装 点击下一步
在这里插入图片描述

选择默认 点击 下一步
在这里插入图片描述

选择稍后安装操作系统点击下一步

在这里插入图片描述

选择LINUX 选择centos 64位 点击 下一步

在这里插入图片描述

选择虚拟机名称 如 node01 选择虚拟机安装位置 点击下一步
在这里插入图片描述

选择处理器 数量 选择 每个处理器的核数 点击下一步
在这里插入图片描述

选择虚拟机的内存大小 点击下一步
在这里插入图片描述

选择 NAT 网络 选择下一步

默认 选择下一步
在这里插入图片描述

选择默认 下一步

创建新虚拟磁盘 下一步

在这里插入图片描述

调整磁盘大小 将虚拟磁盘拆分多个文件 点击下一步
在这里插入图片描述

默认 点击下一步

在这里插入图片描述

点击完成

在这里插入图片描述

VMware 创建虚拟机完成

开启虚拟机安装系统

配置VMware 虚拟网络 点击编辑 选择虚拟网络编辑器

在这里插入图片描述

选择vmnet8 选择 net 将下面的nat 模式勾选上 子网IP 填上 局域网段 例如192.168.100.0

子网掩码255.255.255.0 选择右上NAT设置 填写网关

在这里插入图片描述

在这里插入图片描述

点击确定 点击确定

点击CD/DVD配置系统位置选择使用ISO 选择ISO文件存放位置 点击确定

在这里插入图片描述

点击开启次虚拟机

在这里插入图片描述
在这里插入图片描述

选择 默认 点击 continue

在这里插入图片描述

设置时间

在这里插入图片描述

选择上海 点击 done
在这里插入图片描述

点击 LANGUAGESUPPORT 设置语言

在这里插入图片描述

选择 中文 简体中文 点击Done

在这里插入图片描述

点击 SOFWARE SELECTION
在这里插入图片描述

选择第一个 右侧全部现则 点击Done

在这里插入图片描述

分配磁盘
在这里插入图片描述

在这里插入图片描述

1）/—根分区—20GB

2）/boot—启动分区----200MB

3）swap—交换分区----如果物理内容<=8G,通常情况下SWAP是内存的2倍，8GB< 内存<16G :1.5倍 <16G :1倍

就类似于WINDOWS下的虚拟内存,当物理内存不足时,临时顶替上做为内存使用是一种独立的格式

4）/u01—应用分区—剩下的都给应用分区

在这里插入图片描述

在这里插入图片描述

设置网络

在这里插入图片描述

在这里插入图片描述

设置root 用户

在这里插入图片描述

在这里插入图片描述

安装完成后 点击 reboot 重启系统 后 进入系统 设置网络

cd /etc/sysconfig/network-scrpipts

vi ifcfg-eno16777736

在这里插入图片描述

ONBOOT=yes

BOOTPROTO= static

NAME= eno16777736

DEVICE= eno16777736

IPADDR=192.168.100.202

NETWORK= 192.168.100.2

GATEWAY= 192.168.100.2

NETSTST = 255.255.255.0

DNS1 = 8.8.8.8

DNS2= 114.114.114.114

ping wwww.baidu.com

可以ping通 系统安装完成、

设置 hosts
在这里插入图片描述

克隆虚拟机

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

开启虚拟机 修改mac地址

开机 找到、/etc/sysconfig/network-scripts/

修改配置文件

配置虚拟机

集群环境设置免密登陆

ssh-keygen -t rsa

# （四个回车）

# 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

# 将公钥拷贝到要免密登陆的目标机器上

ssh-copy-id node01

# 将汇聚在一起的公钥文件发送到node02、node03上

scp /root/.ssh/authorized_keys node02:$PWD

scp /root/.ssh/authorized_keys node03:$PWD

集群机器时间同步

yum install ntpdate

ntpdate cn.pool.ntp.org

安装基础环境

安装依赖包

	yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
	yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
	yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

安装httpd(只需要在部署本地yum源的机器上安装即可，不用三台全部安装)

yum install -y createrepo

配置host

vim /etc/hosts
192.168.52.150 hadoop01
192.168.52.151 hadoop02
192.168.52.152 hadoop03
192.168.52.153 hadoop04

关闭防火墙
查看防火墙状态：

 systemctl status firewalld.service

绿的running表示防火墙开启
执行关闭命令：

 systemctl stop firewalld.service

再次执行查看防火墙命令：

systemctl status firewalld.service

执行开机禁用防火墙自启命令 ：

 systemctl disable firewalld.service

完成

关闭selinux（在配置文件中第一次设置时需要重启服务器）

setenforce 0

vim /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled

reboot

安装httpd服务

yum install httpd -y（已安装过）
systemctl start httpd.service
设置开机启动
systemctl enable httpd.service
cd /var/www/html/
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
上传cmd6中的文件到此目录，上传allkeys.asc文件到/var/www/html/cm6/6.2.1/目录下

访问测试：http://hadoop01/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

生成repodata目录

cd /var/www/html/cm6/6.2.1/redhat7/yum
createrepo .

配置本地yum源

cd /etc/yum.repos.d/
vim cloudera-manager.repo
填写：
[cloudera-manager]
name=Cloudera Manager
baseurl=http://hadoop01/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1
执行命令：
yum clean all
yum list | grep cloudera

创建cloudera-scm用户（centos7要求必须有，centos6没有要求）

useradd cloudera-scm
passwd cloudera-scm
--免密钥登录
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
su - cloudera-scm
exit

安装mysql服务

第一步：下载repo，并安装mysql-server
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
这个步骤需要网络，并根据网速会花些时间，安装完成后会覆盖之前的mariadb。
如果提示-bash: wget: 未找到命令，则：yum -y install wget

第二步：mysql设置
启动：
systemctl start mysqld.service
查看运行情况：
systemctl status mysqld.service

第三步：登录mysql
查看mysql密码
grep "password" /var/log/mysqld.log
登录mysql
mysql -uroot -p

第四步：修改密码
取消mysql密码规范限制
set global validate_password_policy=0;
set global validate_password_length=1;
重设密码
alter user 'root'@'localhost' identified by '123456';
flush privileges;

第五步：卸载repo包
此时还有一个问题，因为安装了yum repository，以后每次yum都会自动更新，耗费时间，所以卸载掉：
yum -y remove mysql57-community-release-el7-10.noarch

安装mysql（后续作为元数据库）
create database scm DEFAULT CHARACTER SET utf8;

grant all PRIVILEGES on *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY 'root' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'hadoop01' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;

安装cdh

在一台主机上安装

安装Server服务
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64

yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

注意：如果在yum源中添加了新的包时：
1.需要删除之前的repodata文件后，重新生成；
2.重启httpd服务
3.清除yum缓存 yum clean all

设置元数据库为mysql

设置元数据库为mysql--前提是安装ClouderaManager Server服务
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root root
旧版本：/usr/share/cmf/schema/scm_prepare_database.sh -h localhost mysql scm root root

提示ERROR JDBC Driver com.mysql.jdbc.Driver not found.
需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。

查看：cat /etc/cloudera-scm-server/db.properties

启动server服务进程（查看7180端口）

systemctl start cloudera-scm-server
查看启动日志：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
查看启动状态：
systemctl status cloudera-scm-server

netstat -an | grep 7180

配置本地parcel包

注意：必须要在数据库初始化后，将parcel文件放置到/opt/cloudera/parcel-repo目录中
4.1 上传cdh6的parcel等文件到opt/cloudera/parcel-repo
4.2 重命名密钥文件名
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

开始安装
访问Server：http://node01:7180/cmf/login
账号密码均为admin

设置Parcel 更新频率为1分钟

swappiness和透明化

临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效：
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

在页面安装cloudera-scm-agent 时遇到的问题解决方法

安装 agent 无法接收到agent发出的检测信号

在这里插入图片描述

$> ps -ef | grep supervisord
$> kill -9 <processID>
sudo service  cloudera-scm-agent restart
查看这个进程，然后杀死进程，然胡重新启动就可以了。

然后在操作下面的步骤就可以了。
 # ps aux | grep super
root     18949  0.0  0.1 223624 12996 ?        Ss   11:16   0:00 /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/python /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/supervisord
root     23390  0.0  0.0 112656   972 pts/0    S+   11:37   0:00 grep --color=auto super
#kill   18949
sudo service cloudera-scm-agent restart
然后重新再安装就可以了。至此问题解决。

修改/etc/hostname 
node01
修改/etc/hosts
192.168.xx.xx node01

Loaded plugins: fastestmirror

yum install的时候提示：Loaded plugins: fastestmirror

fastestmirror是yum的一个加速插件，这里是插件提示信息是插件不能用了。

不能用就先别用呗，禁用掉，先yum了再说。

1.修改插件的配置文件

vi /etc/yum/pluginconf.d/fastestmirror.conf

enabled = 1//由1改为0，禁用该插件
1
2.修改yum的配置文件

vi /etc/yum.conf

plugins=1//改为0，不使用插件
1
3 清除缓存并重新构建yum 源

yum clean all
yum clean dbcache
yum makecache

时间同步问题

r=auto super
#kill 18949
sudo service cloudera-scm-agent restart
然后重新再安装就可以了。至此问题解决。


```shell
修改/etc/hostname 
node01
修改/etc/hosts
192.168.xx.xx node01

Loaded plugins: fastestmirror

yum install的时候提示：Loaded plugins: fastestmirror

fastestmirror是yum的一个加速插件，这里是插件提示信息是插件不能用了。

不能用就先别用呗，禁用掉，先yum了再说。

1.修改插件的配置文件

vi /etc/yum/pluginconf.d/fastestmirror.conf

enabled = 1//由1改为0，禁用该插件
1
2.修改yum的配置文件

vi /etc/yum.conf

plugins=1//改为0，不使用插件
1
3 清除缓存并重新构建yum 源

yum clean all
yum clean dbcache
yum makecache

时间同步问题

ssh免密登录问题

时光带不走丶年少轻狂
关注
专栏目录
CDH平台搭建时解决离线安装依赖包的方法
Shen_R的博客
03-07 920
背景介绍： 1、CDH开发平台在搭建的过程中，会遇到各种各样的问题，其中的各种依赖就是一个很让人头痛的问题。如果安装脚本文件出现了这种问题，那么就可以把以下的这种方法加入shell中，但是不要用yum来安装，因为yum安装需要网络，有的应用场景是离线的，所以我们采用离线安装，下一个Yum包所需要的离线包以及依赖。 2、CDH开发平台如果遇到网卡不能重启，就重启整个机器 3、重启整个云主机完后启动C...
CDH6.2离线安装（史上最全安装文档）-Lyer整理版
最新发布
sinat_36709196的博客
09-27 1163
CDH6.2大数据集群环境安装
基于CentOS 7的CDH 6 完整离线安装
绿萝蔓蔓绕枝生
06-22 1220
目录1、CDH6资料准备2、虚拟机基础环境2.1、安装JDK2.2、添加互信3、下载依赖4、安装 MySQL5、关闭selinux6、安装 httpd 服务6.1、安装、启动服务6.2、生成 repodata 目录6.3、配置本地yum源7、连接 MySQL 准备7.1、创建元数据库7.2、MySQL 赋权7.3、引入 jar 包8、安装 Server 服务8.1、安装 cloudera-manager-daemons、cloudera-manager-agent8.2、修改配置文件8.3、安装cloude
解决CDH6安装难题：allkeys.asc文件的便捷解决方案
gitblog_09776的博客
09-06 861
解决CDH6安装难题：allkeys.asc文件的便捷解决方案 项目地址:https://gitcode.com/open-source-toolkit/36b7e 项目介绍 在安装CDH 6.3.2的过程中，许多用户可能会遇到一个常见的问题：系统提示找不到allkeys.asc文件。这个文件是验证Cloudera Manager源码包完整性的关键组成部分，确保您的安装过程能够顺利进行并从官方或自...
CDH6大数据集群离线安装
04-15 3216
CDH6大数据集群离线安装前言、为什么要用离线的方式安装CDH6大数据集群一、下载安装包二、开通CentOS7云服务器三、编辑映射文件四、配置SSH免密登录五、编写集群分发脚本六、上传CDH6安装包到云服务器七、安装MySQL(主节点)1.下载并安装mysql2. 登录后修改密码（尽量复杂一点，太简单了验证不通过，也可以查看如何关闭mysql校验规则）3.重启服务并设置开机启动4.下载并安装JDBC 驱动5.创建CDH所需要的数据库八、配置Cloudera Manager yum库（主节点）九、安装JDK（
CDH6.2.0部署
fzxiaocai的博客
03-14 1934
CDH6.2.0部署 服务器信息 服务器 主机名 安装服务 密码等信息 192.168.66.10 mysql.cdh.lczy.com cloudera-manager-server httpd mysql-5.7 数据库初始密码和安装路径信息如下: mysql_root_pwd=“CDH6.2_lczy” mysql_install_path="/usr/local" 192.168.66.11 cdh11.lczy.com 简单初始化 jdk 192.168.66.12 cd
Cloudera(CDH) 简介和在线安装
热门推荐
静静是我女朋友
12-07 2万+
实验背景 笔者需要维护线上的hadoop集群环境，考虑在本地搭建一套类似的hadoop集群，便于维护与管理。 Cloudera 简介 经过搜索发现Cloudera产品很适合笔者当前需求，于是开始研究Cloudera（CDH）的安装与使用，参考：Cloudera 官网：https://www.cloudera.com Cloudera 官方文档： https://www.cloudera.co
CDH5.16.1离线安装.docx
06-21
### CDH5.16.1离线安装与配置知识点详解 #### 一、环境准备与基础设置 在进行CDH5.16.1的安装之前，需要完成一系列的基础环境搭建工作，主要包括： 1. **操作系统的选择**：文档推荐使用CentOS 7作为操作系统。...
CDH5.10.0离线安装部署文档
10-05
CDH5.10.0是Cloudera公司推出的一个Hadoop发行版，其集成了众多大数据处理组件，为用户提供了构建和管理大数据平台的一站式解决方案。CDH5.10.0的离线安装部署涉及到多种服务组件，其中包括HDFS（Hadoop Distributed...
CDH-5.XX 离线安装及升级步骤及安装过程常见错误.txt
06-14
通过离线安装方式部署CDH-5.XX，不仅可以简化安装过程，还能有效避免网络不稳定带来的问题。遵循上述步骤，可以较为顺利地完成CDH集群的搭建，并实现高效的数据处理能力。此外，熟悉安装过程中的常见错误及解决方法...
clouder-cdh-6.2.1 离线安装包
02-09
本资源包为 cdh6.2.1 redhat7 版本 # 目录结构如下 ├── cdh6 │   └── 6.2.1 │   └── parcels │   ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel │   ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 │   └── manifest.json └── cm6 └── 6.2.1 ├── allkeys.asc └── redhat7 └── yum ├── cloudera-manager.repo ├── RPM-GPG-KEY-cloudera └── RPMS └── x86_64 ├── cloudera-manage
CDH6安装教程(亲自测试越坑版)
IT- 研究者
09-12 5943
一、Hadoop大数据平台 1、Hadoop 发行版 (1) 完全开源的原生的Apache Hadoop (2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP） (3) MapR公司的MapR(已经被HPE收购) (4) AWS亚马逊的EMR (5) 国内华为的fusioninsight (
CDH6报错解决全记录
sinat_28371057的博客
08-24 4617
一、服务器准备 1、服务器配置 准备3台服务器，建议最低配置如下（阿里云大约每台每月六百多）： centos7.4 8c 16G 39.101.192.109 node001 39.101.179.3 node002 39.99.236.205 node003 为服务器开启外网端口访问 7180、8900 2、下载安装包 把下面列出的共12个文件下载到一台文件服务器上 下载cdh文件到/var/www/html/cloudera-repos/目录 （1）https://archive.clou
【技术问题】CDH无法下载之后
Andytl的博客
02-14 5359
Cloudera公司最近在官网宣布： 从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。 也就是说CDH各版本都不能免费获取了。很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera 现在开始要输入账号密码认证了。用Cloudera的账号密码的话，会得到如下失败信息： 40
Cloudera Manager 5 and CDH 5 installation
心底的鬼
08-12 1891
We are using Cloudera Manager 5.1.x and CDH 5.1.x to deploy our own hadoop cluster. Requirements ——Preparing the OS http://www.cloudera.com/content/support/en/downloads/cloudera_manager/cm-5-1-1
CDH搭建中关于parcel的问题【已解决】
福贵儿的博客
10-26 6494
1.问题描述 如果在搭建CDH的过程中，出现“对于此 Cloudera Manager 版本 (5.15.0) 太新的 CDH 版本不会显示”，那么应该就是parcel出现了问题,之前后缀名是改过的了，不知道为什么又变回来了，如 2.解决方案 简单方法： 将sha1 改成 sha，然后重启server，agent 终极方法：将parcel-repo文件下面的文...
ClouderaManager管理平台搭建(CDH6.2.1)
CDHong.it的技术分享博客
05-18 1538
CM 简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 CM 架构 CM部署准备配置 下载 CDH6-CentOS7 离线软件安装包 下载 CM6-CentOS7 集群安装软件包 使用 VMware 克隆三台机器，分别修改对应的 IP 及 主机名，使用 MobaXterm 连接测试。 主机名 IP地址 内存 硬盘 CUP 服务进程
CDH6集群的离线搭建
kailzhu的博客
06-21 989
CDH6集群的搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载2、配置基础环境2.1、虚拟机IP配置2.2、配置hostname2.3、配置hosts2.4、禁用防火墙2.5、卸载mariadb数据库2.6、禁用SELinux功能2.7、安装第三方依赖2.8、配置ssh免密登陆2.9、配置时间同步2.9.1、server服务器配置2.9.1、client服务器配置3、配置MySQL数据库(主节点)3.1、安装并配置MySQL3.2、创建数据库4、创建本地yum源（主节点）5、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时光带不走丶年少轻狂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值