来到fsb的第24天

背景：数据分析想看数据，就必须去各个平台把数据找出来放在EXCEL表中，然后通过透视表去进行统计，非常的耗时。

大概清楚自己要做什么了

将各个平台的数据存储到自己的数据库当中，

然后搭建自己公司的CRM（后台管理平台），对数据进行进一步的处理，比如各渠道获取的人数（微信、微博等）能展现出一个图表，之前是靠人工去各个平台一个个去找，然后放入EXCEL中，然后进行统计，如果全在自己数据库中，汇总数据就可以不用人工了。

所以我要做的是：

1.通过各平台的API，然后自己创建相对应的表，添加必要的字段

2.通过kettle将json格式的数据导入进去（每天开发会生成json格式的文件给我）

3.各个平台都做好之后，在进行进一步的汇总统计，需要建新的表，将所有平台的数据汇总到这里，用于CRM的展示。

 

为什么要用kettle而不让开发直接入库？

因为会有重复数据（开发也可以去重~这不算问题），主要是便于管理，通过kettle可以很好的输出日志，知道本次入库了多少条数据，知道入库的成功或失败。

转载于:https://www.cnblogs.com/tangbinghaochi/p/7656680.html