App热点标签分析开发流程

一、数据开发类项目标准流程

• 1） 项目背景-需求说明
• 2） 需求分析
• 3） 技术方案和排期表
• 4） 开发细节和风险控制
• 5） 测试、Bug修复、调优
• 6） 正式上线-用户可以正式使用了
• 7） 项目总结

二、目录组织结构——五大金刚：

1.create
放数据表的创建sql语句

2.udf
放java\scala\python等相关的自定义代码部分

3.deal
放相关的具体的业务处理的shell脚本程序

4.Data
存放项目所需要的一些临时数据、输入输出临时需要的数据。

5.conf
放项目所需要的配置文件相关的内容。使项目具备更好的可移植性。

三、开发流程

1.create文件夹中 sql创建表脚本编写

2. data文件夹中导入源数据

3.deal文件夹

3.1向表中加载数据:touch load_to_xxxx.sh
3.2 创建新表
3.3 将查询出的结果写入新表
3.4 plus升级版 进行前十名排序