01.02第一篇之项目需求及架构设计

最新推荐文章于 2022-11-23 19:49:29 发布

大数菌

最新推荐文章于 2022-11-23 19:49:29 发布

阅读量204

点赞数

分类专栏：大数据框架之实战-电商离线数据仓库

本文链接：https://blog.csdn.net/liangq740/article/details/108321458

版权

大数据框架之实战-电商离线数据仓库专栏收录该内容

9 篇文章 0 订阅

订阅专栏

第2 章项目需求及架构设计

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SsK8BZ3V-1598857277299)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.png)]

2.2 项目框架

2.2.1 技术选型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FDs0aBGC-1598857277303)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image004.png)]

2.2.2 系统数据流程设计

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BbTogQ3X-1598857277305)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image006.png)]

2.2.3 框架版本选型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GEbUxPfY-1598857277309)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image008.png)]

2.2.4 服务器选型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-82pdmDaM-1598857277313)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image012.png)]

2.2.5 集群资源规划设计

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hgi6YUdu-1598857277315)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image014.png)]
2）测试集群服务器规划

服务名称	子服务	服务器 hadoop102	服务器 hadoop103	服务器 hadoop104
HDFS	NameNode	√
DataNode	√	√	√
SecondaryNameNode			√
Yarn	NodeManager	√	√	√
Resourcemanager		√
Zookeeper	Zookeeper Server	√	√	√
Flume(采集日志)	Flume	√	√
Kafka	Kafka	√	√	√
Flume（消费Kafka）	Flume			√
Hive	Hive	√
MySQL	MySQL	√
Sqoop	Sqoop	√
Presto	Coordinator	√
Worker		√	√
Azkaban	AzkabanWebServer	√
AzkabanExecutorServer	√
Druid	Druid	√	√	√
Kylin		√
Hbase	HMaster	√
HRegionServer	√	√	√
Superset		√
Atlas		√
Solr	Jar	√
Griffin		√
服务数总计		19	9	9

一般企业级别的集群搭建，供参考
在这里插入图片描述

大数菌

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
01.02第一篇之项目需求及架构设计

第2 章项目需求及架构设计2.2 项目框架2.2.1 技术选型2.2.2 系统数据流程设计2.2.3 框架版本选型2.2.4 服务器选型2.2.5 集群资源规划设计2）测试集群服务器规划服务名称子服务服务器 hadoop102服务器 hadoop103服务器 hadoop104HDFSNameNode√DataNode√√√SecondaryNameNode√YarnNodeManager√√
复制链接

扫一扫