使用CDH5.14.0方式Cloudera Manager快速搭建hadoop集群

最新推荐文章于 2024-11-09 09:01:42 发布

weixin_46466052

最新推荐文章于 2024-11-09 09:01:42 发布

阅读量743

点赞数

分类专栏： hadoop集群搭建 CDH 文章标签： hadoop 大数据 mysql linux

本文链接：https://blog.csdn.net/weixin_46466052/article/details/108145527

版权

本文详细介绍了如何通过CDH5.14.0的Cloudera Manager搭建hadoop集群，包括前置操作如安装mysql和jdk，CM的安装与配置，集群启动和测试，以及安装kafka的过程，强调了在安装过程中需要注意的版本匹配、环境配置和权限问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0.前言

CDH搭建方式是使用Cloudera Manager进行一键式搭建hadoop集群，Cloudera Manager里面集成了hadoop组件的管理功能，并且提供了hadoop组件的静态资源parcel，可以实现一键安装、配置，统一管理。非常节省时间。
不推荐初学者学习CDH方式搭建，初学者建议以apache传统方式搭建，方便学习hadoop组件的工作原理。

1.前置操作

准备了四台虚拟机。root密码自己设置，我图方便都用root了

修改hosts文件

在四台节点上修改hosts文件，CDH会自动读取你的HOSTS文件，并将其作为连接其他agent的映射，务必将所有节点的hosts配置完全一样，并且能够互相访问。

映射命名如下。

vim /etc/hosts

10.3.69.80 cdh00

10.3.69.81 cdh01

10.3.69.82 cdh02

10.3.69.83 cdh03

hostnamectl set-hostname cdh00

hostnamectl set-hostname cdh01

hostnamectl set-hostname cdh02

hostnamectl set-hostname cdh03

配置清华的yum源

清华yum官方配置教学

其他应用安装

ifconfig不能用？

yum install net-tools -y

vi没颜色不好看，弄个vim。

yum install vim -y

节点之间要保证时间同步。

yum install ntp -y

ntpdate ntp6.aliyun.com

节点之间要经常通信，输密码很烦，先生成一对密钥

ssh-keygen

三个回车，不需要内容直接回车就行。

然后把密钥发送给其他节点

ssh-copy-id cdh00

关闭selinux

修改配置文件（重启生效）

vim /etc/selinux/config

将SELINUX=enforcing 改为SELINUX=disabled

下载其他第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

2.安装mysql

虚拟机里默认有了jdk1.8，接下来安装mysql，理论上来讲只需要server节点安装，所以只在cdh00节点中安装mysql即可，其余例如hive之类的组件都依赖于cdh00的MySQL。

rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
yum repolist enabled | grep "mysql.*-community.*"
yum -y install mysql-community-server
systemctl enable mysqld
systemctl start mysqld

默认没有root密码，直接mysql -uroot登录登录进去以后修改mysql密码。

update mysql.user set password=PASSword('root') where user='root';

最后设置一下mysql的远程连接

mysqladmin -u root -proot
##登录后 
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

mysql的user表

检查一下user表中是否有空项，根据表内容不同，给空值填入密码。

set password for root@localhost = password('root');

quit;

退出以后，重启mysql服务，登录。

systemctl restart mysqld
mysql -uroot -proot

在****cdh00****中创建CM所需要的数据库。

（1）集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;  
（2）hive数据库 
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 
（3）oozie数据库
create database oozie DEFAULT