spark数据开发业务流程总结

（一）接到新业务流程：
(a)应用设计文档
(b)计算逻辑文档
根据这两个文档，整理业务流程

（二）接下来根据业务中伪代码，整理出hive-SQL
(a)考虑命名规范
(b)考虑存储格式

（三）整理好SQL之后开始代码开发
(a)建表建字段（类型如何选择）
(b)建模块写代码

（四）最后核对数据（重点）

（五）问题汇总：

(1)先建表 后执行代码
(2) 建表时 先执行use db
(3)从小宽表中生成大宽表 select*包括分区字段 
(4)使用join还是left join（梳理业务）
(5)哪个left join哪个（梳理业务）
(6)调试不要写repartition 100G数据多运行20min+
(7)写完SQL要核对一遍业务逻辑（重名字段易混淆）
(8)group by date需要先格式化日期