- 博客(1)
- 收藏
- 关注
原创 url采集工具
url无限采集工具 一丶运行环境:python3 + redis数据库 二丶采集原理:从初始关键词里面采集网址,然后在网址里面爬取关键字,一边采集关键字,一边采集网址,redis数据库自动去重,多线程模式采集网址加url redis数据库安装参考:https://www.cnblogs.com/xiaomage666/p/11528092.html 最好是放服务器采集,速度快,我本机只做一个基本的演示! 现在数据库里面是没任何内容的 现在开始采集: 可以中途暂停,只要数据库里面的内容不被清空,下次继续采集不
2020-06-10 20:55:50 1609
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人