![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
redis
文章平均质量分 71
andux
这个作者很懒,什么都没留下…
展开
-
scrapy爬取17k小说网分类列表中最新小说章节内容(RedisSpider,redis,mongodb,翻页)
redis可以用于分布式爬取,就是可以同时使用多个进程(多个终端)运行同一个应用,redis可以自己调度每个进程的任务列表,共同完成相关任务。settings.py文件里配置redis数据库连接,DOWNLOAD_DELAY = 1是间隔一秒再执行,网站没有反扒的时候,可以注释掉。这里需要注意,需要清空redis数据库,不然有数据它就不执行了,因为它认为已经执行过了。MongoDB数据库清空是为了看清楚数据变化。数据库实体类中的字段顺序,决定了最后存储到MongoDB数据库中的字段顺序。原创 2023-10-18 15:14:01 · 119 阅读 · 0 评论 -
redis数据库安装、图形管理界面及数据类型与操作
在开发中,字符串类型是用的最多的数据类型,导致我们忽视了redis的其他四种数据类型,在具体场景下选择具体的数据类型对提升redis性能有非常大的帮助。redis虽然支持消息队列的实现,但是并不支持ack。所以redis实现的消息队列不能保证消息的可靠性,除非自己实现消息确认机制,不过这非常麻烦,所以如果是重要的消息还是推荐使用专门的消息队列去做。原创 2023-10-17 17:42:21 · 627 阅读 · 0 评论