大数据量之间的_编码小技巧

如今的WEB行业 ,与比较大数据量 打交道是愈发频繁的事情了.
其实面对大数据量的时候,如果不方便从整体设计入手,
那么不妨尝试一些编码小技巧.............

第一点: 一次查询,多次插入

假设 100w/表 需要处理的数据 , 那么此时可以
查询 20w/次
插入 2000/次
修改 1500/次
删除 20w/次
以上只是一个例子,在实际情况下 还需要根据业务逻辑,字段多寡,数据库产品,等条件去衡量

具体每一次 增改的 数据量 可以参考
1.拼接出的sql 语句字符串长度
2.表字段的多少
3.实际测试的结果

删除 在不嫌麻烦,或是有必要的情况下 可以 将 索引,主键等去除然后删除完在加回去,但是一般情况下 分多批删除也是一个不错的选择

---

第二点: 筛选掉对象中不必要的字段.

假设 100w/表 需要处理的数据 那么此时
代表会有 100w 个对象创建于消亡
如果 在实体类中剔除一个字段,就代表 给这100w 个对象
创建时同时减轻了 一个字段的负担

所以请观察下,你正在使用的实体类, 并把其中 必要的字段另外抽取成新的类罢

---

第三点: 尽可能利用业务逻辑排除掉更多的数据

非常显而易见的一点, 需要被处理的数据有 100w 但是 并不是这 100w 数据都要被 修改or 删除, 有些数据是不需要可以跳过的.

所以请在详细了解你的业务罢, 与他人讨论是一个不错的方式,可以弥补你的思维盲点