第一步:需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机,数据输入相当于例如苹果、柠檬等,然后通过榨汁机产出果汁;
第二步:数据量(影响技术的选型)、处理效率(离线、在线)、可靠性、可维护性、简洁性
第三步:数据建模(想象成一张一张的table,对整个项目的深刻理解)
第四步:架构设计(数据怎么进来,处理完之后怎么展示,最最重要的是处理流程的架构)
第五步:再次思考大数据系统和企业IT系统的交互(检验和补充),和其他部门的负责人进行沟通
第六步:最终确定技术(例如Spark、Kafka、HBase),选择规范等
第七步:基于数据建模写基础服务代码(例如和HBase的交互等一些基本的代码)
第八步:正是编写第一个模块!编码、测试、调试、改进等等
第九步:实现其他的模块,并完成测试和调试等
第十步:测试和验收
大数据项目技术架构流程图
加微信18611576994 或者官方报名咨询QQ群 163728659可以获得更多DT大数据梦工厂大数据Spark蘑菇云行动准备课程的视频、源代码和文档资料等,老师的微博:http://weibo.com/ilovepains/,获得大量的大数据最新和最干货的信息并与老师互动。