vmware14安装CetOS7搭建cdh5.13.3环境（一）

最新推荐文章于 2024-04-16 21:31:00 发布
最新推荐文章于 2024-04-16 21:31:00 发布
阅读量847 收藏
点赞数
文章标签： cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gdnh22a/article/details/89528164
版权

创建：2019-4-25 22:37:00
更新参考资料：Centos 7 离线安装Cloudera Manager5 和CDH5.13.0
https://blog.csdn.net/Tx_Smile/article/details/78338110

一、前期准备工作

1、虚拟机安装

安装目录
【E:\vm_system\centos7\hadoop2】
镜像：CentOS-7-x86_64-Minimal-1810.iso
安装视频：
https://v.youku.com/v_show/id_XNDE1NDAwNDU3Ng==.html?spm=a2hzp.8244740.0.0
关键词：最小化，Sa123sa4，8000MB内存

1.1 备份vmware快照【minimal】

2、软件版本

jdk-8u211-linux-x64.tar.gz
https://v.youku.com/v_show/id_XNDE1NDAyNzgyMA==.html?spm=a2hzp.8244740.0.0
scala2.11.0
https://v.youku.com/v_show/id_XNDE1NDA0NzE0NA==.html?spm=a2h0j.11185381.listitem_page1.5!5~A
mysql-connector-java-5.1.47.tar
https://v.youku.com/v_show/id_XNDE1OTAxMTQ2OA==.html?spm=a2h9p.12366999.app.55!255!255!25!3555552122TRTD!255!2H4~A

MySQL两种方案：
一种是下载rpm安装，但是要找依赖包
MySQL Server：mysql-community-server-5.7.26-1.el7.x86_64.rpm
MySQL Client：mysql-community-client-5.7.26-1.el7.x86_64.rpm
mysql-community-common-5.7.26-1.el7.x86_64.rpm
mysql-community-libs-5.7.26-1.el7.x86_64.rpm
mysql-connector-java-5.1.47.tar.gz
方案二：下载yum安装。
mysql80-community-release-el7-3.noarch.rpm
CM：cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz
CDH5：CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel

3、集群设计

IPhostname说明
192.168.100.100cdh1主，从节点3
192.168.100.101cdh2从节点2
192.168.100.102cdh3从节点3

二、安装前的配置

1、配置服务器

1.1 修改hostname（所有节点）

vi /etc/sysconfig/network
#配置内容
NETWORKING=yes
HOSTNAME=cdh1
:wq
hostname cdh1
hostname
#显示cdh1
reboot

阿里云轻量级服务器修改hostname
hostnamectl set-hostname master

1.2 修改IP

vmware设置网络模式hostonlny。
网段192.168.80.0，DHCP的IP范围改到200以后。

ip addr #看网卡名称ens32
vi /etc/sysconfig/network-scripts/ifcfg-ens32 #修改内容见下面
reboot
ip addr #再次查看IP
ping www.baidu.com #测试网络 —— 有外网的情况下

ifcfg-32内容修改为：

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.80.100
GATEWAY=192.168.80.2
NETMASK=255.255.255.0
dns1=8.8.8.8 #内网不需要
dns2=114.114.114.114 #内网不需要

此时，应该可以用xmanager5登录服务器。

1.2.2 修改hosts

vi /etc/hosts

修改内容如下：
在这里插入图片描述

1.3 配置云仓库

1.3.1 阿里云

网页直接输入【
http://mirrors.aliyun.com/repo/Centos-7.repo
】
下载至本地。
用xmanager5上传到/etc/yum.repos.d。

cd /etc/yum.repos.d
mv CentOS-Base.repo CentOS-Base.repo.bak 
mv Centos-7.repo CentOS-Base.repo
yum clean all
yum makecache
yum update #过程需要几分钟。

1.3.2 本地云

将本地ISO做成FTP？

1.4 安装VIM（yum）

yum install vim -y

两次Y确定，等待几分钟下载。

1.4.1、保存vmware快照【preinstall】

2、安装JDK

2.1 卸载已有JDK

java -version #检查是否安装

2.2 上传JDK

cd /usr/local
mkdir -p ninja59k

xmanager上传【jdk-8u211-linux-x64.tar.gz】到【/usr/local】

cd /usr/local/ninja59k
cd /usr
mkdir -p java
cd /usr/local/ninja59k
tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/java #需要几分钟

2.3 配置环境变量

vim /etc/profile
添加内容
#java
export JAVA_HOME=/usr/java/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile #生效
java -version #检查版本
cd /usr/local/ninja59k
rm -f *.*

2.4 备份vmware快照【jdk8u211】

2.5 复制出两台虚拟机

cdh2
cdh3

2.6 关闭防火墙

systemctl status firewalld #查看状态
systemctl disable firewalld #开机禁用

2.7 关闭selinux

vi /etc/sysconfig/selinux
SELINUX=disabled
reboot
sestatus -v   #查看状态

2.8 时间同步

[root@cdh01~]yum -y install ntp #更改master的节点
[root@cdh01~]vi /etc/ntp.conf
    注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器(百度一下ntp服务器)
    server ntp.sjtu.edu.cn iburst
    在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下)
    server 192.168.100.100 iburst 所有节点。

2.8.1 安装net-tools

mysql配置依赖项。

2.9 备份vmware快照【sshntp】

2.10 免密登录（所有节点）

在所有结点执行下列指令：

ssh-keygen
ssh-copy-id root@192.168.100.100
ssh-copy-id root@192.168.100.101
ssh-copy-id root@192.168.100.102

全部操作完后验证登录，在cdh2，cdh3上执行：

[root@cdh2 ~]# ssh root@192.168.100.100
Last login: Sat May  4 23:23:32 2019 from cdh3

2.10.1、保存vmware快照【preinstall2】

5、安装MYSQL5.7.26

5.1 卸载mariadb

mariadb与mysql有冲突，必须卸载。

[root@cdh1 usr]# rpm -qa | grep mariadb
mariadb-libs-5.5.60-1.el7_5.x86_64
[root@cdh1 usr]# rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
[root@cdh1 usr]# rpm -qa | grep mariadb

5.2 安装MYSQL

只在主节点上执行。
mkdir -p /usr/local/ninja59k
方案一：（待定）
用xmanager将下列软件

安装顺序文件名称
1mysql-community-common-5.7.26-1.el7.x86_64.rpm
2mysql-community-libs-5.7.26-1.el7.x86_64.rpm
3mysql-community-client-5.7.26-1.el7.x86_64.rpm
4mysql-community-server-5.7.26-1.el7.x86_64.rpm

上传到【/usr/local/ninja59k】

[root@cdh1 ~]# cd /usr/local/ninja59k/
[root@cdh1 ninja59k]# ls
mysql-community-client-5.7.26-1.el7.x86_64.rpm  mysql-community-libs-5.7.26-1.el7.x86_64.rpm
mysql-community-common-5.7.26-1.el7.x86_64.rpm  mysql-community-server-5.7.26-1.el7.x86_64.rpm
[root@cdh1 ninja59k]# rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm 
warning: mysql-community-common-5.7.26-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-common-5.7.26-1.e################################# [100%]
[root@cdh1 ninja59k]# rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm 
warning: mysql-community-libs-5.7.26-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-5.7.26-1.el7################################# [100%]
[root@cdh1 ninja59k]# rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm 
warning: mysql-community-client-5.7.26-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-client-5.7.26-1.e################################# [100%]
[root@cdh1 ninja59k]# rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm 
warning: mysql-community-server-5.7.26-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error: Failed dependencies:
	net-tools is needed by mysql-community-server-5.7.26-1.el7.x86_64

这时提示要安装net-toos

yum install net-tools -y
[root@cdh1 ninja59k]# rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm 
warning: mysql-community-server-5.7.26-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-server-5.7.26-1.e################################# [100%]

方案二：
用xmanager将【mysql80-community-release-el7-3.noarch.rpm】上传到【/usr/local/ninja59k】

5.2.1 创建用户及用户组

groupadd mysql
useradd -r -g mysql mysql

授权远程登录：
mysql> grant all privileges on . to ‘root’@’%’ identified by ‘Sa123sa4’ with grant option;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

方案二：

参照官方说明：【
https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/
】

sudo rpm -Uvh mysql80-community-release-el7-3.noarch.rpm
yum repolist all | grep mysql
yum -y install yum-utils
sudo yum-config-manager --disable mysql80-community
sudo yum-config-manager --enable mysql57-community
yum repolist enabled | grep mysql
sudo yum install mysql-community-server

需要等待十几分钟，视网速决定。我这边进行到99%等了半小时。

5.2.4 备份vmware快照【mysqldownload】

5.2.5 启动服务

sudo systemctl start mysqld.service
sudo systemctl status mysqld.service #查看服务，绿色【running】表示正在执行。

5.2.6 修改默认密码

[root@cdh1 ~]# sudo grep 'temporary password' /var/log/mysqld.log #查找初始化密码
2019-04-28T01:12:11.777177Z 1 [Note] A temporary password is generated for root@localhost: oa#qaplWs4mm

记录：oa#qaplWs4mm
这个密码是随机的。

mysql -uroot -p
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Sa123sa4';
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

1)解决1819错误

参考文章 https://blog.csdn.net/kuluzs/article/details/51924374
这是因为默认密码规则要求不允许简单密码。

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_mixed_case_count=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_number_count=3;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_special_char_count=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_length=3;
Query OK, 0 rows affected (0.00 sec)

mysql> SHOW VARIABLES LIKE 'validate_password%';
ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Sa123sa4';
Query OK, 0 rows affected (0.00 sec)

5.2.7 测试MYSQL

mysql -u root -p
#输入Sa123sa4
ps -ef|grep mysql #查看安装路径
mysql      6722      1  0 21:12 ?        00:00:06 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid
root       6831   6759  0 22:03 pts/0    00:00:00 grep --color=auto mysql

5.2.8 备份vmware快照【mysqlroot】

5.2.9 使用远程navicat测试连接

设置NAVICAT客户端：
在这里插入图片描述
2
在这里插入图片描述

vmware快照列表

序号快照名称
1minimal
2preinstall
3sshntp
4appendpack
5jdk8
6mysqlroot

参考文献：

https://my.oschina.net/u/3754001/blog/1819230

本文完，转下篇。2019-4-28 10:05:27截稿。

xxxxx1.5abcde 免密登录（备用方案）

xxxxx1.5.1 SSH生成公钥（影响到XMANAGER5）

ssh-keygen

[root@cdh1 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:nyWMukUfl4iU2gySICxK0nAUiQYoBW421IvBgPn1WbQ root@cdh1
The key's randomart image is:
+---[RSA 2048]----+
|&XBo   ..        |
|@Ooo..  .o       |
|B*o.+..oE        |
|+.o. .o* + . .   |
|      . S = +    |
|       o o *     |
|      . . +      |
|       o         |
|      .          |
+----[SHA256]-----+

默认生成【/root/.ssh/id_rsa】【/root/.ssh/id_rsa.pub】
将id_rsa.pub下载到WINDOWS本机。

2、第三方依赖包

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi、

等待几分钟，下载时间很长。

2.1 备份vmware快照【appendpack】

完成时间：2019-4-27 15:32:47

4、安装Scala（待定？必选？）

4.1 安装

如果安装Spark，必须安装Scala，否则在web端操作CDH会报错。
此操作在所有节点上都要执行。
用xmanager将【scala-2.11.0.tgz】上传到【/usr/local】

cd /usr/local
tar -zxvf scala-2.11.0.tgz -C /usr
cd /usr
mv scala-2.11.0 scala2.11
vi /etc/profile
#添加内容
export SCALA_HOME=/usr/scala2.11
export PATH=$PATH:$SCALA_HOME/bin
#添加结束
source /etc/profile #生效
scala -version #检查版本

用xmanager删除刚才/usr/local下上传的安装包。

4.2 备份vmware快照【scala2】

丰哥86
关注
CDH大数据平台搭建之VMware及虚拟机安装
qq_41924766的博客
06-02 1447
CHD大数据平台搭建-VMware及虚拟机安装前言一、下载所需框架二、安装(略)三、安装虚拟机1、新建虚拟机(按照操作即可)总结 前言 搭建大数据平台需要服务器，这里通过VMware +CentOS镜像进行模拟，供新手学习必备。 一、下载所需框架 VMware 和CentOS可以通过官网下载，这里我提供大家也会提供所需软件，请到百度网盘自行下载，提取码：cdh5 二、安装(略) VMware安装就不演示了，简单的windows软件安装，相信大佬都会。 三、安装虚拟机 1、新建虚拟机(按照操作即可) 1、
Centos7-CDH5.13.3
weichenyang的博客
09-09 376
Centos7-CDH5.13.3
CDH_5.7.0_基于VM虚拟机的hadoop集群搭建
05-23
该文档描述了在虚拟机上的cdh的部署方案，用于测试环境，同时该方法对实际环境部署也有实际的指导意义。 方案概述 采用在VM虚拟机上搭建方案，虚拟机环境VMware Workstation Pro12；虚拟三台机器方案，一主两备；每台服务器分配CPU：1C，内存：不少于3G，磁盘20G；目标集群作为测试环境使用，预计测试总数据量不超过100W，主要用于本机开发及维护测试。 三台虚拟机安装64位linux操作系统，发行版本为：rhel-server-6.5-x86_64；安装hadoop版本为CDH 5.7.0；hadoop版本为：Hadoop 2.6.0；JAVA版本为：1.7；存储元数据的版本为：MySQL；
VM下安装 centos7.6 + CDH5.16.2
DCHAO的博客
08-22 893
一、SRC 前面那篇文章是在生产环境实践之前本地安的，在生产环境安装了一遍之后，有很多地方做了修改，所以重新写一篇。 二、需求 1. 节点规划 完全模拟公司环境，centos7.6 + CDH5.16.2 5台虚拟机。4个cdh，1个应用和数据库服务器。 ip 作用 101 cdh管理节点 102-104 cdh工具+数据节点 105 数据库和应用节点 2. 配置hdf..................
cent0S 7 安装 cdh5.13 笔记之三： 安装 hadoop-hdfs
恒
12-13 1085
cent0S 7 安装 cdh5.13 笔记之三：安装 hadoop-hdfs
从零开始虚拟机安装单节点CDH5.15
fkueugeg的博客
11-04 1542
从零开始虚拟机安装单节点CDH5.15环境和离线文件安装CentOS7更换yum源配置host配置SSH免密登陆关闭selinux安装jdk1.8安装mysql添加jdbc驱动为CDH创建数据库和用户导入repo(可不做)解压cm初始化CM5的数据库配置cloudera-manger-agent指向主节点服务器创建cloudera-scm用户• 安装问题• 问题:hue 数据库连接不上• 问题:启...
win7中VMware安装CentOs7搭建Linux环境教程
01-10
我的电脑系统是win7，所以我需要在win7上安装一个虚拟机-VMware，然后在虚拟机中安装CentOs7，搭建我需要的Linux环境。 linux环境搭建参考文档：//www.jb51.net/article/105106.htm 一、VMware和CentOs简介 1.VMware...
VMware 安装 Centos7（超详细教程）
热门推荐
学海无涯的博客
06-08 9万+
VMware安装CentOS很简单？？？
Vmware+Centos7搭建Openstack环境（网络配置）
09-30
本篇文章主要介绍了Vmware+Centos7搭建Openstack环境（网络配置），具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
CentOS7 简易版离线安装CDH14.docx
04-29
本文档将指导读者在 CentOS 7 环境下离线安装 CDH 14，并对相关知识点进行详细解释。 知识点 1：CDH 介绍 CDH（Cloudera Distribution of Hadoop）是 Cloudera 公司开发的一款基于 Hadoop 的大数据解决方案。CDH ...
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和参考相关资料，个人总结整理成文档，为自己为他人，希望都有帮助。
Centos7.4离线安装CDH5.13.0详细图文教程(含Spark2.0)
08-06
Centos7.4离线本地yum源安装CDH5.13.生产环境0详细图文教程 1、本文档介绍了如何在Centos上利用本地yum源图文一步步安装CDH5.13.0 2、文档为本人亲自编写,且在真实生产环境部署,请结合本地情况自行参考,本着分享原则交流共享 3、如有不当之处或者改进之处请留言评论,欢迎
虚拟机 CDH集群系统环境准备
Victor_Xiong999的博客
12-02 456
虚拟机 CDH集群系统环境准备说明系统环境准备1.网络配置（所有节点）1.1修改主机名1.2修改IP地址1.3添加主机名和 IP 映射2.配置 SSH 免密登录3.设置系统启动级别为3（可省略）4.关闭防火墙/关闭 Selinux4.1关闭防火墙4.2关闭 Selinux5.安装JDK并配置环境变量6.安装配置MySQL7.同步服务器时间8.下载第三方依赖包 说明 为了学习CDH的使用，需要重新配...
Vmware测试环境下搭建CDHv5.4(Coudera Hadoop大数据平台搭建)
折戟沉沙嗜血柔情
04-28 428
这已经是第五次搭建了，每次搭都怨自己没有整理步骤，都是从网上搜，每次搜的资料又都不一样，搭起来很浪费时间。 这次整理一下，防止第六次搭建。 1.前置准备 ...
Centos 7安装CDH 5.13服务
weixin_44595780的博客
01-21 541
一、前期准备 1、关闭防火墙 $ sudo systemctl stop firewalld $ sudo systemctl disable firewalld $ sudo systemctl status firewalld 2、hostname及hosts配置,添加主机IP和机器名映射 $ sudo hostnamectl set-hostname hadoop01 $ sudo vim...
虚拟机搭建CDH-第七讲-安装CM
oracle8090的博客
05-14 2906
安装完成mysql 以后有可能需要创建的库，需要的时候再创建爱你 #hive create database hive DEFAULT CHARSET utf8 COLLATEutf8_general_ci; #activity monitor安装监控用的 create database amon DEFAULT CHARSET utf8 COLLATEutf8_general_ci;
使用VMware搭建hadoop(CDH)分配网络时需要注意的事儿
A_stranger的专栏
07-13 536
我使用的是VMnet8（NAT模式），默认这个ip总是变化；我在网络适配器里面设置成固定的ip 比如： vmnet8: IP 192.168.146.1 网关：192.168.146.2 三台虚拟机的 IP：192.168.146.10、192.168.146.20、192.168.146.30 ...
VMware centos7 搭建 cdh
qq_33227340的博客
08-29 637
1.准备3台虚拟机  2.分别装上jdk  3.配置静态ip，设置静态ip后如果network不能重启 显示失败的话，就删除 设置静态ip内的device那一项。 4.设置ssh无密码登陆 5.安装mysql,mysql不能yum安装 需要安装包安装 安装的过程安装到第四个文件的时候提示错误 ，安装对应的包即可， 一般分别为net-tool,perl,还有一个lib安装上mysql就安装...
大数据快速搭建环境 CDH QuickStart VM虚拟机版本安装
最新发布
moxiong3212的博客
04-16 1043
CDH QuickStart VM虚拟机版本安装
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丰哥86

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值