数据统计与挖掘的通用设计原则

目前已经在基于hadoop平台上做数据统计与挖掘快一年了，这里将对做数据统计时的一些通用设计要求做总结（跟业务无关）。

以hive作为工具

第一：优先考虑增量计算，其次考虑全量计算。

第二：支持重算机制，简单地说就是当数据计算有误时，可以支持重算（也就是说这次的计算结果能正确覆盖上一次的结果）。

第三：脚本编写并行化，如果脚本编写没有明显的上下关联的话，优先考虑并行化。

第四：脚本中变化的地方用参数，例如SQL语句含有日期条件时，可以用变量方式，方便程序运行时进行替换。

第五：数据准备(就是什么时候数据源准备完毕)

第六：数据导出

目前就想到这么多，后续将继续总结和补充。

待续………………