大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述 项目！！！大项目！！！超大型大数据项目！！！

大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述

从9月20号的大数据项目课程内容开始，所有的同学每节课必须按照课程内容动手实战，且基于课程内容写项目的学习博客；

第一步：

需求：数据的输入和数据的产出，大数据技术项目好比一台榨汁机，数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁；

 

 

第二步：数据量、处理效率、可靠性、维护性、简洁性

 

 

第三步：数据建模

 

第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出的架构；

 

第五步：我会再次思考大数据系统和企业IT系统的交互；
 

第六步：最终确定的技术（例如Spark、Kafka、Flume、HBase）选择、规范等

 

第七步骤：基于数据建模写基础服