之前做了个爬虫案例平台,https://scrape.center/,具体文章在 原创丨发布一个爬虫案例平台,帮助爬虫初学者进行练手。
平台内我设计了非常多的网站,有服务端渲染、客户端渲染等,其中服务端渲染的页面大家可能爬取的频率比较高,时不时就会遇到被爬挂的情况。
比如这个网站:https://ssr1.scrape.center/,当访问频率高的时候,甚至我后端开了 20 个 Pod 也承受不来,大家并发量有点猛啊。
这个后端是用 Django 写的,而且这个网站的数据不怎么更新,索性再加个 Cache 吧,在 Django 中最高效的 Cache 当属 Memcached 了,本篇文章就来简单记录下 Django 对接 Memcached 的过程。
官方资料
千说万说都不如官方文档来的直接,首推官方文档:https://docs.djangoproject.com/en/3.1/topics/cache/。
然后后面就是我简单的笔记了。
依赖库
首先需要安装个依赖库,这里用的是 python-memcached,可以使用 pip 来安装:
pip3 install python-memcached
由于我使用的是 Docker,所以就把它写到 requirements.txt 里面了。
配置
另外还需要在 settings.py 里面配置一下,内容如下:
CACHES = {
'default': {
'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
'LOCATION': 'cache:11211',
}
}
这里 LOCATION 是