大数据项目流程
第一步:需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机,数据输入相当于例如苹果、柠檬等,
然后通过榨汁机产出果汁;
第二步:数据量、处理效率、可靠性、维护性、简洁性
第三步:数据建模
第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出的架构;
第五步:我会再次思考大数据系统和企业IT系统的交互;
第六步:最终确定的技术(例如Spark、Kafka、Flume、HBase)选择、规范(用多少机器等)等
第七步骤:基于数据建模写基础服务代码
第八步:正式编写第一个模块!编码、测试、调试、改进等等
第九步:实现其它的模块,并完成测试和调试等
第十步:测试和验收
其实跟一般的项目差别并不大!
大数据项目流程图
以上内容部分来自[DT大数据梦工厂]首席专家Spark专家王家林老师的课程分享。感谢王老师的分享,更多精彩内容请扫描关注[DT大数据梦工厂]微信公众号DT_Spark