需求:假如我们的需求是当多个用户可能同时上传一组数据并去重后保存到数据库mysql的时候,会出现卡顿的现象是因为高并发插入数据的时候首先会执行filter查询语句,其次再执行create,大量的查询使得数据库压力很大,这时就需要做缓存,把查询的逻辑放到缓存中去执行,例如(原始的去重查询入库逻辑):
version_info = VersionInfo.objects.filter(
cluster_id=form_data['cluster_id'],
hostname=form_data['hostname'],
pkg_name=form_data['pkg_name'])
if version_info.exists():
version_info.update(**form_data)
return version_info[0]
else:
return VersionInfo.objects.create(**form_data)
解决方案:redis+mysql
具体实现细节:
1.首先将上传的数据经过redis;
2.在redis中通过常见的数据类型set进行去重并添加到list中;
3.携带modify_time设置为str类型;
4.最后将去重后的数据定时写入到mysql中
代码技术分析: