关于增量更新 全量更新的思路历程

背景：调第三方接口调取全部数据存入数据库（数据量较大）。之后都是操作数据库。

这时需要定时任务。定时调api获取最新的数据。更新到数据库。

 

目的：更新页面显示内容信息。

 

思路：

差分更新

拉取更新数据更新数据库。

以页面显示数据为基础到表中查是否有更新数据。有则更新。没有则不做操作。

 

具体做法：

建个表存接口返回数据。

1 数据初始化：清空表里数据。拉取接口全部数据存入数据库。此步骤只执行一次。

2 定时任务：

以下所有判断以调取接口的updatetime字段为条件。

1. 调接口获取更新数据。条件为大于表中所存的最大updetime。存入表中（如果是表中存在的，看有没有修改，有的话就更新；如果表中不存在，则添加）。
2. 以media数据为基础到表中查是否有更新数据。有则更新（即放到队列中跑定时任务）。没有则不做操作。