数据库设计-分批次导入数据

在实际工作中，经常遇到需要分批次将数据导入总表的情况，在大规模数据的背景下，按照一定的规范导入，就变得至关重要。本文根据几个常用的数据处理过程，总结了一个数据库设计模版。
先看图片

在图片里有8个步骤：

1. 首先将本地数据导入到数据准备备表中
2. 再从备表中提取指定字段，对数据做规范化处理
3. 根据业务规则，增加字段，并打上标签，比如：高价值客户=1
4. 添加动态的日期，便于查询
5. 根据业务专项数据表更新标签小类，比如：客户类别=个人/中小企业/大厂
6. 根据业务专项数据表更新痛感标签，比如：痛感标签=用户界面体验感差
7. 基础表的数据更新完了，就可以筛选指定的字段插入总表了，根据日期字段可以筛选导入日期
8. 将更新后的总表同步至大数据库

按照以上的步骤，就可以比较规范地将大数据库中的总表按照批次更新了。