1.集群资源
1.1 集群资源配置
# 配置十台服务器 每台服务器的配置如下 :
``` | Cores(内核) | Memeory(内存) | Disk(磁盘) |
---|---|---|---|
1 | 48 | 256 | 15T |
2 | 48 | 256 | 15T |
3 | 48 | 256 | 15T |
4 | 48 | 256 | 15T |
5 | 48 | 256 | 15T |
6 | 48 | 256 | 15T |
7 | 48 | 256 | 15T |
8 | 48 | 256 | 15T |
9 | 48 | 256 | 15T |
10 | 48 | 256 | 15T |
1.2 集群服务配置
# 每台服务器配置的服务角色如下:
IP | Zookeeper服务 | Yarn服务 | Hive服务 | Oozie服务 | HDFS服务 | Spark服务 | CM服务 |
---|---|---|---|---|---|---|---|
10.212.6.51 | Server | JobHistoty Server,NodeManager, ResourceManager(活动) | Hive Metastore Server,HiveServer2 | Oozie Serve | NameNode(活动),JournalNode,HttpFS,Failover Controller | History Server | Alert Publisher,Host Monitor,Service Monitor,EventServer |
10.212.6.52 | —— | NodeManager , ResourceManager(备用) | —— | —— | NameNode(备用),JournalNode,HttpFS,Failover Controller | —— | —— |
10.212.3.51 | —— | NodeManager | —— | —— | JournalNode,HttpFS,DataNode | —— | —— |
10.212.3.52 | —— | NodeManager | —— | —— | JournalNode,HttpFS,DataNode | —— | —— |
10.212.3.53 | —— | NodeManager | —— | —— | JournalNode,HttpFS,DataNode | —— | —— |
10.212.3.54 | —— | NodeManager | —— | —— | DataNode | —— | —— |
10.212.3.55 | Server | NodeManager | —— | —— | DataNode | —— | —— |
10.212.3.56 | Server | NodeManager | —— | —— | DataNode | —— | —— |
10.212.3.57 | Server | NodeManager | —— | —— | DataNode | —— | —— |
10.212.3.58 | Server | NodeManager | —— | —— | DataNode | —— | —— |
1.3 集群服务版本
服务 | 版本 |
---|---|
CDH | 6.1.0 |
JDK | 1.8.0_111 |
MySQL | 5.7.23 |
HDFS | 3.0.0 |
Yarn | 3.0.0 |
MapReduce | 3.0.0 |