大数据集群的搭建以及开发

大数据集群的搭建以及开发

 

目录

 

一． 搭建环境准备.......................................................................................................... 2

1.1 操作系统版本支持............................................................................................... 2

1.2 java-jdk的版本支持............................................................................................... 3

1.3 大数据相关组件对数据库的依赖版本配置............................................................ 4

1.4大数据各个框架的资源分配情况........................................................................... 4

1.5Cloudera-manager 技术架构.................................................................................. 5

二 大数据集群搭建.......................................................................................................... 6

2.1 配置ip,主机名，hosts映射.................................................................................. 6

2.2 禁用ipv6............................................................................................................. 7

2.3 防火墙的关闭以及selinux的关闭(所有节点)......................................................... 8

2.4 集群的免秘钥登录（所有节点）.......................................................................... 8

2.5 JDK 的安装.......................................................................................................... 8

2.6  时间同步服务器的配置...................................................................................... 9

2.7修改用户可以使用资源的最高限制（所有服务器上）.......................................... 12

2.8 mysql的安装部署 （只在10.10.20.45 这台服务器上安装）................................ 12

2.8.1 卸载系统自带的mysql依赖包................................................................... 13

三  CM的安装部署........................................................................................................ 16

3.1  安装CM所需要的第三方依赖包（所有服务器上）........................................... 16

3.2 在10.10.20.45 server节点上创建目录并解压...................................................... 16

3.3 修改CM的配置文件.......................................................................................... 16

3.4 拷贝cloudera-manager目录给其他节点.............................................................. 17

3.5 创建一个CM专门使用的普通用户（所有服务器上）......................................... 17

3.6 配置CM在mysql中的相关权限并进行初始化操作............................................. 17

3.7 进行初始化操作 （使用CM自带的初始化脚本）.............................................. 18

3.8 配置CDH源....................................................................................................... 18

3.9 启动cloudera-manager的服务进程..................................................................... 19

四 访问web-ui界面........................................................................................................ 20

4.1 分配不同组件架构到不同主机............................................................................ 24

4.2Kafka安装包准备：............................................................................................. 27

五windows下开发大数据平台......................................................................................... 29

 

 

 

一、搭建环境准备

采用cloudera-manager大数据管理集群平台，cloudera-manager官网查看其版本以及对集群操作系统，java-jdk版本支持的条件，本集群搭建采用cloudera-manager5.9.0

1.1操作系统版本支持：

1.2 java-jdk的版本支持

1.3大数据相关组件对数据库的依赖版本配置

 

 

1.4大数据各个框架的资源分配情况

Hadoop

Namenode: 内存1000M内存-对应100万条元数据,网络io与databnoe保持通讯交互

Datanode；磁盘4-16T /每台服务器

Resourcemanger:与namenode部署一起

nodemanger :与datanode部署在一起

Journnode: 需要启动三个奇数个