django项目优化实战

最近一段时间练习了一个django的小项目,想做一些优化看看能抗住多个的访问量:
Python:3.6 Djanog:2.1 MySQL:5.7 缓存后端:reids
这个项目是个电商网站,我将商品的数量搞到了100W的数据量,这些商品数据基本平均分布在六个商品大类中。在没有设置缓存的情况下,打开首页都要几十秒。。。
首先优化首页,下面是首页页面:
首页
轮播图和旁边的广告,只有几行数据,可以不用设置缓存。下面是六个大类,每个大类展示当前分类下销量最高的商品,要将这个设置缓存:

        context = cache.get('index_context')
        if context is None:
            types = GoodType.objects.all()
            for good_type in types:
                good_type.top = Good.objects.filter(type=good_type).order_by('-sales')[:4]
            context = {
                'types': types,
            }
            cache.set('index_context', context, 3600)

加上缓存后,用ab测试,在保证响应时间200ms以内的情况下,可以达到20并发,QPS 110 左右。
在这里插入图片描述
接着测试商品列表页,这里是按照销量高低进行排序,每页显示20个商品,左边显示的当前分类下的最新上架的2个产品,如图
在这里插入图片描述
由于这里涉及到分页,耗时大,所以可以将每个分类的前几页进行缓存。这时候如果直接将分页后的对象使用django自带的缓存框架缓存,虽然响应时间会减少,但是还是3~4秒,达不到我们的要求。这是由于django自带的缓存框架会将对象使用pickle序列化后再存入redis中,可能由于我们分页后的对象比较大,从缓存中读取时,绝大多数时间都耗在反序列化的过程中,这个过程大致等于响应时间。于是我换个思路 ,将每页的商品的id直接存到redis中(不适用django的cache),这样有个问题,就是分页后的对象是含有上下页的信息的,而我这样缓存的数据是不包含这些信息的,所有还需要将上面的信息也同样直接存到redis中。这样当访问这个页面的时候,直接从redis中获取对应的id,再将其从数据库中查找出来,(由于查找使用的是主键,速度很快,经我测试,每个查询大约1ms,这样一页20个商品,只需20ms)下面是部分代码:

    conn = get_redis_connection()
    list_id_num = 'list_%s_%s' % (id, num)
    h_list_id_num = 'h_list_%s_%s' % (id, num)
    skus = conn.lrange(list_id_num, 0, 20)
    if not skus:
        goods = Good.objects.filter(type=good_type).order_by('-sales').all()
        paginator = Paginator(goods, 20)
        skus = paginator.page(num)
        for sku in skus:
            conn.rpush(list_id_num, sku.id)
        if skus.has_next():
            number = skus.next_page_number()
            conn.hset(h_list_id_num, 'next', str(number))
        if skus.has_previous():
            number = skus.previous_page_number()
            conn.hset(h_list_id_num, 'pre', str(number))
        skus = conn.lrange(list_id_num, 0, 20)
    goods = []
    pages = {
        'next': False,
        'pre': False,
        'next_number': None,
        'pre_number': None,
    }
    for sku in skus:
        good = Good.objects.get(id=int(sku.decode()))
        goods.append(good)
    next_number = conn.hget(h_list_id_num, 'next')
    if next_number:
        pages['next'] = True
        pages['next_number'] = int(next_number)
    pre_number = conn.hget(h_list_id_num, 'pre')
    if pre_number:
        pages['pre'] = True
        pages['pre_number'] = int(pre_number)

用ab测试,在保证响应时间200ms的情况下,可以做到10个并发,QPS 50左右
在这里插入图片描述
接下来是商品详情页面,如下:
在这里插入图片描述
这个页面中比较耗时的是新品推荐的查找,于是和上面一样将id直接存储到redis中(这里也可以直接将这个变量存到django自带的缓存框架中,因为数据量比较小,但效率应该还是比不上前面的方法),部分代码如下:

    new_goods_type = 'new_goods_%s' % good.type.id
    new_goods_list = conn.lrange(new_goods_type, 0, 2)
    if not new_goods_list:
        new_goods = Good.objects.filter(type=good.type).order_by('-create_time')[:2]
        new_goods = list(new_goods)
        for good in new_goods:
            conn.rpush(new_goods_type, good.id)
    else:
        new_goods = []
        for good_id in new_goods_list:
            good = Good.objects.get(id=int(good_id))
            new_goods.append(good)

ab测试结果如下,在保证响应时间200ms的情况下,可以达到25并发,130QPS左右
uwsgi配置:

http-socket=127.0.0.1:8000
socket = 127.0.0.1:6000
chdir = /home/lya/PycharmProjects/jd
wsgi-file =jd/wsgi.py
processes = 4
threads = 2
stats = 127.0.0.1:9191
enable-threads= true
virtualenv= /home/lya/PycharmProjects/jd/venv
vacuum=true
listen=2000
memory-report=true
pidfile=%(chdir)/uwsgi/uwsgi.pid
daemonize=%(chdir)/uwsgi/uwsgi.log

在设置了缓存的情况下,单个请求的响应时间已经很小了。后期还可以优化的地方有:1 重新梳理代码逻辑,看是否有不必要的代码 2 将数据库查询优化,只查找我们需要的字段,不要将一行数据全部取出 3 看下html渲染是否有优化的地方,有些视图函数中,逻辑处理(包括数据查找)只占了一半的时间。
源码链接

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值