Spark蘑菇云学习之路（项目实战）--1、项目概述

第一步：需求：数据的输入和数据的产出，大数据技术项目好比一台榨汁机，数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁；

第二步：数据量（影响技术的选型）、处理效率（离线、在线）、可靠性、可维护性、简洁性

第三步：数据建模（想象成一张一张的table，对整个项目的深刻理解）

第四步：架构设计（数据怎么进来，处理完之后怎么展示，最最重要的是处理流程的架构）

第五步：再次思考大数据系统和企业IT系统的交互（检验和补充），和其他部门的负责人进行沟通

第六步：最终确定技术（例如Spark、Kafka、HBase），选择规范等

第七步：基于数据建模写基础服务代码（例如和HBase的交互等一些基本的代码）

第八步：正是编写第一个模块！编码、测试、调试、改进等等

第九步：实现其他的模块，并完成测试和调试等

第十步：测试和验收

大数据项目技术架构流程图

加微信18611576994 或者官方报名咨询QQ群 163728659可以获得更多DT大数据梦工厂大数据Spark蘑菇云行动准备课程的视频、源代码和文档资料等，老师的微博：http://weibo.com/ilovepains/，获得大量的大数据最新和最干货的信息并与老师互动。