假设我有这个Django模型:
class Question(models.Model):
question_code = models.CharField(max_length=10)
我在数据库中有15,000个问题.
我想通过question_code(字母数字)对其进行排序.这是一个非常经典的问题,已经在以下文章中进行了讨论:
我尝试了第二个链接中的代码(复制到下面,更改了一下),并注意到最多需要3秒才能对数据进行排序.为了确保函数的性能,我编写了一个测试,该测试创建了一个100k个随机字母数字字符串的列表.排序该列表仅需0.76s.那是怎么回事?
这就是我的想法.该函数需要获取每个问题的question_code进行比较,因此调用此函数对15k值进行排序意味着要分别请求mysql 15k的时间.这就是为什么要花这么长时间的原因.任何想法?一般而言,对自然排序有任何解决方案吗?非常感谢!
def natural_sort(l, ascending, key=lambda s:s):
def get_alphanum_key_func(key):
convert = lambda text: int(text) if text.isdigit() else text
return lambda s: [convert(c) for c in re.split('([0-9]+)', key(s))]
sort_key = get_alphanum_key_func(key)
return sorted(l, key=sort_key, reverse=ascending)
解决方法:
据我所知,还没有通用的Django解决方案.您可以通过构建id / question_code查找结构来减少内存使用并限制数据库查询
from natsort import natsorted
question_code_lookup = Question.objects.values('id','question_code')
ordered_question_codes = natsorted(question_code_lookup, key=lambda i: i['question_code'])
假设您要分页结果,然后可以对ordered_question_codes进行切片,执行另一个查询以检索所有需要的问题,根据它们在该切片中的位置对其进行排序
#get the first 20 questions
ordered_question_codes = ordered_question_codes[:20]
question_ids = [q['id'] for q in ordered_question_codes]
questions = Question.objects.filter(id__in=question_ids)
#put them back into question code order
id_to_pos = dict(zip((question_ids), range(len(question_ids))))
questions = sorted(questions, key = lambda x: id_to_pos[x.id])
如果查找结构仍然使用过多的内存,或者排序时间太长,那么您将不得不提出更高级的内容.这当然无法很好地扩展到庞大的数据集
标签:mysql,django,natural-sort
来源: https://codeday.me/bug/20191009/1878030.html