python 爬虫requests免费代理池项目【ProxyPool】，以及ip失效自动替换的方法。

最新推荐文章于 2023-07-26 15:33:14 发布
最新推荐文章于 2023-07-26 15:33:14 发布
阅读量4.2k 收藏 19
点赞数 4
分类专栏： 国际站运营 文章标签： python redis 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43297217/article/details/106739455
版权

github地址

https://github.com/Python3WebSpider/ProxyPool
直接下载后解压
安装项目里面所有的第三方库： cd进入文件夹 - pip3 install -r requirements.txt 运行代码

下载redis

https://github.com/tporadowski/redis/releases
在这里插入图片描述
下载解压，先运行redis - server.exe ,再运行redis- cli.exe

在这里插入图片描述

运行第一个文件夹里面的 run.py

http://localhost:5555/random 访问这个网址，出现ip地址就成功了

在python里面调用

def get_random_proxy():
    proxypool_url = 'http://127.0.0.1:5555/random'
    """
    get random proxy from proxypool
    :return: proxy
    """
    return requests.get(proxypool_url).text.strip()#输出的是字符串

requests使用ip池

proxy = {'http':'http://'+get_random_proxy()}
res = requests.get(url=url, headers=headers,proxies = proxy,timeout =5)

当ip不可用时，重新请求一个ip

用try方法：

    try:
        res = requests.get(url=url, headers=headers,proxies = proxy,timeout =5)
        if res.status_code == 200:
            pass
    except requests.exceptions.Timeout:
        global NETWORK_STATUS
        NETWORK_STATUS = False  # 请求超时改变状态

        if NETWORK_STATUS == False:
            '''请求超时'''
            for i in range(1, 10):
                print('请求超时，第%s次重复请求' % i)
                proxy = {'http': 'http://' + get_random_proxy()}
                res = requests.get(url, headers=headers,proxies = proxy, timeout=5)
                if res.status_code == 200:
                    break

用while True 方法实现

        while True:
            res = requests.get(url=url, headers=headers, proxies=proxy, timeout=5)
            if res.status_code == 200:
                break
            else:
                print('IP失效，正在更换IP。。。。')
                proxy = {'http': 'http://' + get_random_proxy()}

上一篇文章查询类目使用代理池的效果

已经可以把每个关键词查询时间缩短至3-4秒，并且不会出现弹出验证码，这是个人的一大步，却是人类的一小步。

一共有49个关键词需要查询。
开始查询car accessory的类目！---------1/49
开始查询car charger的类目！---------2/49
开始查询car phone holder的类目！---------3/49
开始查询car parts的类目！---------4/49
开始查询usb car charger的类目！---------5/49
开始查询wireless car charger的类目！---------6/49
开始查询car air freshener的类目！---------7/49
****************************************
正确的类目是【Mobile Phone Holders】
第3个关键词car phone holder保存成功!
查询花费时间23.16秒
****************************************
开始查询dual usb car charger的类目！---------8/49
开始查询car wireless charger的类目！---------9/49
开始查询car的类目！---------10/49
****************************************
正确的类目是【Charger】
第6个关键词wireless car charger保存成功!
查询花费时间20.30秒
****************************************
开始查询car seat cushion的类目！---------11/49
开始查询electric car的类目！---------12/49
开始查询electrical car的类目！---------13/49
****************************************
正确的类目是【Cushion】
第11个关键词car seat cushion保存成功!
查询花费时间9.69秒
****************************************
开始查询car seat cover的类目！---------14/49
开始查询car battery charger的类目！---------15/49
开始查询car sticker的类目！---------16/49
****************************************
正确的类目是【[]】
第10个关键词car保存成功!
查询花费时间24.24秒
****************************************
开始查询car spare parts的类目！---------17/49
****************************************
正确的类目是【[]】
第12个关键词electric car保存成功!
查询花费时间21.61秒
****************************************
开始查询car air purifier的类目！---------18/49
开始查询toys car的类目！---------19/49
****************************************
正确的类目是【Car Stickers】
第16个关键词car sticker保存成功!
查询花费时间11.92秒
****************************************
开始查询toy car的类目！---------20/49
开始查询car mobile phone holder的类目！---------21/49
开始查询car keychains的类目！---------22/49
****************************************
正确的类目是【Air Purifiers】
第18个关键词car air purifier保存成功!
查询花费时间25.31秒
****************************************
开始查询car holder的类目！---------23/49
****************************************
正确的类目是【Mobile Phone Holders】
第21个关键词car mobile phone holder保存成功!
查询花费时间15.88秒
****************************************
开始查询car usb charger的类目！---------24/49
****************************************
正确的类目是【Radio Control Toys】
第19个关键词toys car保存成功!
查询花费时间23.01秒
****************************************
开始查询car vacuum cleaner的类目！---------25/49
开始查询magnetic car phone holder的类目！---------26/49
开始查询car toy的类目！---------27/49
IP失效，正在更换IP。。。。
更换后的IP是http://45.76.176.68:8080
****************************************
正确的类目是【Mobile Phone Holders】
第23个关键词car holder保存成功!
查询花费时间13.29秒
****************************************
开始查询car cover的类目！---------28/49
开始查询auto spare parts car的类目！---------29/49
****************************************
正确的类目是【Mobile Phone Holders】
第26个关键词magnetic car phone holder保存成功!
查询花费时间18.70秒
****************************************
开始查询car lighting的类目！---------30/49
****************************************
正确的类目是【Car Charger】
第24个关键词car usb charger保存成功!
查询花费时间28.78秒
****************************************
开始查询car light的类目！---------31/49
****************************************
正确的类目是【Radio Control Toys】
第27个关键词car toy保存成功!
查询花费时间21.06秒
****************************************
开始查询universal car charger的类目！---------32/49
开始查询car key chain的类目！---------33/49
****************************************
正确的类目是【Machining】
第29个关键词auto spare parts car保存成功!
查询花费时间20.43秒
****************************************
开始查询remote control car的类目！---------34/49
开始查询remote controlled car的类目！---------35/49
IP失效，正在更换IP。。。。
更换后的IP是http://45.76.157.40:8080
开始查询car humidifier的类目！---------36/49
开始查询car phone charger的类目！---------37/49
****************************************
正确的类目是【Auto Lighting System】
第31个关键词car light保存成功!
查询花费时间27.77秒
****************************************
开始查询car washer的类目！---------38/49
开始查询car repair tools的类目！---------39/49
开始查询car mat的类目！---------40/49
****************************************
正确的类目是【Radio Control Toys】
第35个关键词remote controlled car保存成功!
查询花费时间23.82秒
****************************************
开始查询car repair tool的类目！---------41/49
开始查询cnc machining car parts的类目！---------42/49
开始查询car led light的类目！---------43/49
开始查询car led lighting的类目！---------44/49
****************************************
正确的类目是【Car Mats】
第40个关键词car mat保存成功!
查询花费时间18.76秒
****************************************
开始查询led car light的类目！---------45/49
开始查询ride on car的类目！---------46/49
****************************************
正确的类目是【Machining】
第42个关键词cnc machining car parts保存成功!
查询花费时间19.80秒
****************************************
开始查询fast car charger的类目！---------47/49
****************************************
正确的类目是【Auto Lighting System】
第45个关键词led car light保存成功!
查询花费时间10.11秒
****************************************
开始查询car neck pillow的类目！---------48/49
开始查询qc3.0 car charger的类目！---------49/49
****************************************
正确的类目是【Auto Lighting System】
第44个关键词car led lighting保存成功!
查询花费时间22.62秒
****************************************
****************************************
正确的类目是【Charger】
第47个关键词fast car charger保存成功!
查询花费时间13.77秒
****************************************
****************************************
正确的类目是【Ride On Car】
第46个关键词ride on car保存成功!
查询花费时间19.35秒
****************************************
****************************************
正确的类目是【Charger】
第49个关键词qc3.0 car charger保存成功!
查询花费时间9.21秒
****************************************
总用时190.91秒，平均用时3.90秒

进程已结束，退出代码 0
DM。
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Python笔记-使用代理切换ip爬取数据
12-22
爬取某站点运行截图如下： 这里使用了阿布云的产品切换代理。 这个产品的文档还是风全的！ 推荐大伙使用： 关键代码如下： 记得这个代理可能异常，记得做异常处理。 源码如下： import re import requests, time class HandleLaGou(object): def __init__(self): self.laGou_session = requests.session() self.header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Int
【Python_requests学习笔记（六）】基于requests模块构建免费代理IP池
禾戊之昂的博客
03-22 578
此篇文章中介绍如何使用requests模块，抓取快代理的免费代理IP，创建免费的代理IP池。
python3简单使用requests 用户代理，cookie池
weixin_34392843的博客
12-28 411
　　官方文档：http://docs.python-requests.org/en/master/ 　　参考文档：http://www.cnblogs.com/zhaof/p/6915127.html#undefined 　　参考文档：Python爬虫实例（三）代理的使用 　　我这里使用的是当前最新的python3.6。 　　安装 　　　　pip3 install requests 　...
python爬虫设置代理ip池——方法（一）
热门推荐
睡着的月亮
05-01 7万+
"""在使用python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术，高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，那如何解决呢？使用代理ip，设置代理ip池。以下介绍的免费获取代理ip池的方法：优点：1.免费缺点：1.代理ip稳定性差需要经常更换2.爬取后ip存在很多不可用ip需要定期筛选小建议：该方法比较适合学习使用，如果做...
python requests使用连接池
weixin_30819085的博客
08-22 3323
import requests session = requests.Session() session.mount('http://', requests.adapters.HTTPAdapter(pool_connections=1, pool_maxsize=20, max_retries=3)) session.get("http://lr.cool") 转载于:http...
python编写的爬虫代理ip池.zip
最新发布
12-30
以下将详细介绍Python爬虫和代理IP池的相关知识点。 **Python爬虫基础** 1. **HTTP/HTTPS协议**：爬虫工作基于HTTP或HTTPS协议，用于在客户端（爬虫）与服务器之间交换数据。 2. **requests库**：Python中最常用的...
Python搭建代理IP池实现获取IP的方法
09-18
在Python编程中，搭建代理IP池是解决网络爬虫中IP被封禁问题的有效方法。本文将探讨如何使用Python来创建这样一个代理IP池，并通过获取和验证代理IP来确保其可用性。 首先，我们需要理解代理IP的基本作用。当进行...
Python爬虫使用代理IP的实现
09-18
因此，在实际使用中，通常需要设计代理IP池，当一个代理IP失效时，可以自动切换到下一个可用的代理IP。此外，对于付费的代理服务，通常会有更稳定的性能和更高的成功率。 在使用代理IP的同时，还要注意遵守目标网站...
网络爬虫-如何检测免费代理IP是否有效-Python实例源码.zip
12-13
在这个主题中，我们将探讨如何使用Python来检测免费代理IP的有效性，这对于爬虫项目来说至关重要，因为代理IP可以保护真实IP免受目标网站的封锁，并提高爬取效率。下面，我们将深入学习相关知识点。 首先，我们需要...
python抓取免费代理IP
06-08
本项目提供了一套完整的解决方案，利用Python来抓取免费代理IP，并将其存储到MySQL数据库中，同时实现定期检查和排除失效的IP，构建自定义的代理IP池。 1. **Python抓取免费代理IP** `get_ips.py` 文件很可能是...
构建高效的python requests长连接池详解
09-16
主要介绍了构建高效的python requests长连接池详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
代理IP,proxypool
qq_42312913的博客
06-12 344
访问 http://localhost:5000/count   ,  多刷新几次--------------------------我是华丽的分割线---------------------------------------------------------下载proxypool cls   清空------------------------------------------------...
跑通github项目：简易高效的代理池ProxyPool（Python3.6）（window10环境）
h1773655323的博客
04-19 723
一、 项目地址 https://github.com/Python3WebSpider/ProxyPool 二、克隆项目 git clone https://github.com/Python3WebSpider/ProxyPool.git cd ProxyPool 三、在window上跑通 首先安装redis，安装链接附上： https://www.runoob.com/redis/redis-install.html 推荐使用 Conda 创建虚拟环境，Python 版本不低于 3.6，本人使用版
python 脚本自动切换windows代理设置
sdlgxxy的专栏
01-07 6698
由于在公司中需要使用代理服务器才能上网，每次在家里和公司上网之前都需要先打开IE设置和取消代理，另外使用svn也需要设置代理服务器，所以想到用python写了一个脚本实现代理的切换。 #! /usr/bin/env python #coding=utf-8 #******************************************* # #HKEY_CURRENT_USER\Soft
requests模块&代理IP池搭建&视频爬取
weixin_68531269的博客
11-24 4353
爬虫代理ip池，网络爬虫
探秘高效爬虫技巧：Selenium + 代理解决IP封禁问题！----selenium爬虫添加代理
Jesse_Kyrie的博客
07-26 2282
在爬虫领域，使用Selenium作为工具之一能够高效地获取数据，但频繁请求可能会导致IP封禁。本文将向你介绍解决这一问题的绝佳方法：Selenium结合代理技巧。不仅仅是添加代理，我们还将分享更便捷、更智能的操作，让你轻松避开封禁陷阱！
selenium不关闭webdriver下动态更新代理ip地址(PhantomJS和Chrome)
Koevas的博客
11-10 5870
PhantomJS from selenium import webdriver from selenium.webdriver.common.proxy import Proxy from selenium.webdriver.common.proxy import ProxyType browser = webdriver.PhantomJS() # 设置页面加载和js加载超时时间，超时立即报错，如下设置超时时间为10秒 browser.set_page_load_timeout(10) br.
Proxy_Pool 代理池与Redis配置的常见问题
imlpf的专栏
04-19 1064
问题1：ERROR redis connection error: Error 10061 connecting to 127.0.0.1:6379. 由于目标计算机积极拒绝，无法连接。 解决：下载并安装Redis-x64-3.0.504.msi或zip都行，地址：https://github.com/MicrosoftArchive/redis/releases 问题2：redis中redis.exceptions.AuthenticationError: Authentication require
python爬虫代理池
09-13
对于Python爬虫代理池，你可以使用第三方库如`requests`来发送HTTP请求，并结合代理池来实现。 首先，你需要获取一些可用的代理IP地址和端口。你可以使用免费的代理IP网站或者购买收费的代理IP服务。 接下来，你可以使用`requests`库发送HTTP请求，并设置代理。你可以通过以下代码将代理添加到请求中： ```python import requests # 代理IP地址和端口 proxy = { 'http': 'http://ip:port', 'https': 'http://ip:port' } # 使用代理发送请求 response = requests.get(url, proxies=proxy) ``` 在上述代码中，`http`和`https`分别代表HTTP和HTTPS请求的代理。你需要将`ip`替换为代理IP地址，`port`替换为代理端口。 另外，由于代理IP地址可能会失效，你可以使用一个代理池来动态地获取可用的代理。你可以创建一个代理池列表，并在每次请求时随机选择一个可用的代理。 这只是一个简单的示例，实际上，你还需要考虑代理的验证、定期更新代理池等问题。但是希望这些信息对你有所帮助！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DM。

对您有帮助的话，打赏一下吧~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值