大数据集群的搭建以及开发
目录
1.3 大数据相关组件对数据库的依赖版本配置............................................................ 4
1.4大数据各个框架的资源分配情况........................................................................... 4
2.3 防火墙的关闭以及selinux的关闭(所有节点)......................................................... 8
2.4 集群的免秘钥登录(所有节点).......................................................................... 8
2.7修改用户可以使用资源的最高限制(所有服务器上).......................................... 12
2.8 mysql的安装部署 (只在10.10.20.45 这台服务器上安装)................................ 12
2.8.1 卸载系统自带的mysql依赖包................................................................... 13
3.1 安装CM所需要的第三方依赖包(所有服务器上)........................................... 16
3.2 在10.10.20.45 server节点上创建目录并解压...................................................... 16
3.4 拷贝cloudera-manager目录给其他节点.............................................................. 17
3.5 创建一个CM专门使用的普通用户(所有服务器上)......................................... 17
3.6 配置CM在mysql中的相关权限并进行初始化操作............................................. 17
3.7 进行初始化操作 (使用CM自带的初始化脚本).............................................. 18
3.9 启动cloudera-manager的服务进程..................................................................... 19
4.1 分配不同组件架构到不同主机............................................................................ 24
一、搭建环境准备
采用cloudera-manager大数据管理集群平台,cloudera-manager官网查看其版本以及对集群操作系统,java-jdk版本支持的条件,本集群搭建采用cloudera-manager5.9.0
1.1操作系统版本支持:
1.2 java-jdk的版本支持
1.3大数据相关组件对数据库的依赖版本配置
1.4大数据各个框架的资源分配情况
Hadoop
Namenode: 内存1000M内存-对应100万条元数据,网络io与databnoe保持通讯交互
Datanode;磁盘4-16T /每台服务器
Resourcemanger:与namenode部署一起
nodemanger :与datanode部署在一起
Journnode: 需要启动三个奇数个