多线程下载小说
多线程爬取小说并写入txt引言多线程redis代理代码
引言
不知道说啥子, 直接进入正题,哦,本人实测,一本一万多章的小说大概四分钟能爬完,在此想说(小说)网站牛逼,不像学校的教务系统,说多了都是泪
多线程
爬取属于io密集型的,所以引入多线程
redis
用redis分发任务以及数据暂存,所以想用的得去下个redis,嘻嘻嘻,其实之前还用了mongodb,为了减少麻烦,就缩减为redis了
代理
质量不错就用,免费的去一边
代码
'''
安装redis 开启server
采用redis 数据太多好像
原创
2020-05-10 20:13:10 ·
262 阅读 ·
0 评论