[1.0.1]交互式电商平台架构与数据流转

参考

从hadoop到spark架构实践
中华石杉

场景

本项目是基于怎样的一个技术架构，以及大致的数据流转？
好的，先了解一下项目开发流程。Snail认为站在开发者的角度，一个正规的完整的大数据项目（普通J2EE项目也类似）流程大致分为三个阶段：

1、架构设计阶段

• 数据调研
  分析平台要基于的底层的基础数据：分析表结构，弄清楚表之间的关系。表中的数据的更新粒度，一个小时更新一次，还是一天更新一次。每天什么时候数据能够进来，会不会有脏数据等。实际上平台可能是进行二次开发，而非从无到有打造一个全新的项目，这就设计到与上一波猿友们的项目交接。当然，与各种所谓的领导开会，任其装逼与得瑟，也符合本国国情。
• 需求分析
  项目存在的意义：通过分析电商用户在网站的搜索、点击、下单与支付行为数据，了解用户的喜好与公司已有产品的销售情况，为产品经理或者其他高层领导做决策提供数据支持。
• 架构设计
  本文将重点解读数据流转与架构设计

• 基础表设计

• 开发环境搭建

2、业务模块开发阶段

• 需求分析
• 技术方案设计
• 表结构设计
• 编码实现

3、测试、troubleshooting与调优阶段

分析

• 数据流转图

不多说了，直接看图吧，数字标识数据流转先后顺序。

实在有点困了，具体流程注释后续补上。

• 技术架构

大数据架构大同小异，上图直接转自相关文章。

---

总结

6月份的最后一天，有点小困，颈椎喊我去跑步。
看到张磊的一段话，很精辟，完美解读了 “用蓬勃的生命力战胜人性的悲剧性”：

第一，人生苦短，要搞就搞大的
第二，搞大了就要搞成永恒的
第三，永恒是不可能的，再牛也要不断创新
第四，早死早超生，要么自己去死，要么自我毁灭再超生