建立自己的小型代理池

最新推荐文章于 2024-09-18 18:06:06 发布

(DᴗD)B

最新推荐文章于 2024-09-18 18:06:06 发布

阅读量892

点赞数

分类专栏：爬虫 python 文章标签：代理池 python

本文链接：https://blog.csdn.net/qq_39226755/article/details/85255546

版权

本文介绍如何使用Python建立一个简单代理池。通过爬取免费代理并存储，然后使用检测模块验证代理的有效性，最终形成一个可供使用的代理资源库。代码中包括获取代理、存储代理、检测代理有效性的方法，并利用多线程加速检测过程。

摘要由CSDN通过智能技术生成

建立自己的小型代理池

拥有一个代理池会很大程度上的帮助我们进行工作，经过一番研究，自己写了一个代理池的小程序，删去了很多的功能，留下了最主要得。
下边为自己的逻辑。
在这里插入图片描述

因为储存和获取模块相对简单，所以合成为一个模块。

粘贴出整个模块代码。
获取的代理的网站有很多，这里只写了一个，对于我自己来说是够用了。

import requests
from lxml import etree
import time
import pymongo

class CAT_IP():
    def __init__(self):
        self.client = pymongo.MongoClient(host='localhost',port=27017)
        self.db = self.client['proxy']
        self.session = requests.Session()
        self.url = 'http://qhd.esf.fang.com/chushou/3_237041602.htm'
        self.headers={
            'Cookie':'_free_proxy_session=BAh7B0kiD3Nlc3Npb25faWQGOgZFVEkiJWYwNzA1YmIzM2QzNTU0NGNjNmMyNWI3NDk1M2FlNmE5BjsAVEkiEF9jc3JmX3Rva2VuBjsARkkiMTQ5K3ZlRkx2dGs3ZmZMZTBjd1VLR