url采集工具

url无限采集工具

一丶运行环境:python3 + redis数据库
二丶采集原理:从初始关键词里面采集网址,然后在网址里面爬取关键字,一边采集关键字,一边采集网址,redis数据库自动去重,多线程模式采集网址加url

redis数据库安装参考:https://www.cnblogs.com/xiaomage666/p/11528092.html

最好是放服务器采集,速度快,我本机只做一个基本的演示!
现在数据库里面是没任何内容的 现在开始采集:
可以中途暂停,只要数据库里面的内容不被清空,下次继续采集不会受影响
我本机环境恶劣 放服务器里面是最好的

尽管这样 一分钟也可以采集好几千url 自动去重的!!!

本机网速太慢,。。。服务器的话 一天可以采集上百万url 前提是你服务器配置高 网速快!
在这里插入图片描述

网址:http://urlcaiji.com/

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值