python爬虫-代理池项目需求（domain.py）

最新推荐文章于 2024-04-15 10:34:52 发布
最新推荐文章于 2024-04-15 10:34:52 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： python 文章标签： flask python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012441595/article/details/121491622
版权

文章目录

python编程快速上手（持续更新中…）

python爬虫热点项目（Flask )

1. 代理池概述

1.1 什么是代理池

代理池就是有代理IP组成的池子, 它可以提供多个稳定可用的代理IP

1.2 为什么要实现代理池（防止ip反爬虫）

从一堆不稳定代理IP中,抽取高可用代理IP, 给爬虫使用

1.3 代理池开发环境

开发语言： Python3
主要技术：requests，lxml，pymongo，Flask

2. 代理池的设计

2.1 代理池的工作流程

在这里插入图片描述
代理IP采集模块: 抓取代理IP -> 校验代理IP可用性 -> 如果可用 -> 数据库(代理池)
检验模块: 读取数据库的代理IP -> 校验代理IP可用性 -> 更新 或 删除代理IP
代理API模块: 从数据库中获取高可用代理IP, 给爬虫使用.

2.2 代理池的模块及其作用

五大核心模块
代理IP采集模块: 采集代理IP, 把可用代理IP, 入库
校验模块: 检测代理的可用性: 响应速度, 协议类型, 匿名程度
数据库模块: 对代理IP进行增删改查的操作
检测模块: 获取数据库中代理IP, 进行处理, 保证代理IP的可用性
API模块: 提供爬虫或高可用代理IP 和 指定代理不可用域名的接口.

其他模块
数据模型: 用于封装代理IP信息
main.py: 启动的统一入口
utils: 工具模块
http.py : 提供随机的User-Agent
log.py : 日志模块, 用于记录日志
settings.py: 配置文件, 用于对项目进行配置

2.3 代理池的项目结构

在这里插入图片描述
项目结构中模块及其作用：

mongo_pool模块：代理IP增删改查模块

proxy_spider包：采集代理IP

httpbin_validator模块：检测代理的可用性—speed，协议类型，匿名程度（原因: 网站上所标注的协议类型和匿名类型是不准确的）

proxy_api模块：提供爬虫或稳定可用代理IP和指定不可用域名的接口

proxy_test模块：获取数据库中代理IP，定期检测可用性

dbmodle模块：代理IP数据模型

main模块：程序入口

http模块：提供随机User-Agent的请求头

log模块：记录日志

settings模块：项目配置文件

3. 实现代理池步骤

代理池实现思路: 先实现不依赖其他模块的基础模块, 然后再实现具体功能模块.

3.1. 实现代理IP的数据模型类（domain.py）

from settings import MAX_SCORE

"""
4. 定义代理IP的数据模型类
目标: 定义代理IP的数据模型类
步骤:

1. 定义Proxy类, 继承object
2. 实现__init__方法, 负责初始化, 包含如下字段:
    ip: 代理的IP地址
    port: 代理IP的端口号
    protocol: 代理IP支持的协议类型,http是0, https是1, https和http都支持是2
    nick_type: 代理IP的匿名程度, 高匿:0, 匿名: 1, 透明:2
    speed: 代理IP的响应速度, 单位s
    area: 代理IP所在地区
    score: 代理IP的评分, 用于衡量代理的可用性; 默认分值可以通过配置文件进行配置. 在进行代理可用性检查的时候, 每遇到一次请求失败就减1份, 减到0的时候从池中删除. 如果检查代理可用, 就恢复默认分值
    disable_domains: 不可用域名列表, 有些代理IP在某些域名下不可用, 但是在其他域名下可用
    在配置文件: settings.py 中 定义MAX_SCORE = 50, 表示代理IP的默认最高分数
3. 提供 __str__ 方法, 返回数据字符串
"""

class Proxy(object):

    def __init__(self, ip, port, protocol=-1, nick_type=-1, speed=-1, area=None, score=MAX_SCORE, disable_domains=[]):
        # ip: 代理的IP地址
        self.ip = ip
        # port: 代理IP的端口号
        self.port = port
        # protocol: 代理IP支持的协议类型, http是0, https是1, https和http都支持是2
        self.protocol = protocol
        # nick_type: 代理IP的匿名程度, 高匿: 0, 匿名: 1, 透明: 2
        self.nick_type = nick_type
        # speed: 代理IP的响应速度, 单位s
        self.speed = speed
        # area: 代理IP所在地区
        self.area = area
        # score: 代理IP的评分, 用于衡量代理的可用性;
        self.score = score
        # 默认分值可以通过配置文件进行配置.在进行代理可用性检查的时候, 每遇到一次请求失败就减1份, 减到0的时候从池中删除.如果检查代理可用, 就恢复默认分值
        # disable_domains: 不可用域名列表, 有些代理IP在某些域名下不可用, 但是在其他域名下可用
        self.disable_domains = disable_domains

    # 3. 提供 __str__ 方法, 返回数据字符串
    def __str__(self):
        # 返回数据字符串
        return str(self.__dict__)

3.2. 实现日志记录模块（log.py）

目的：
能够方便的对程序进行调试
能够记录程序的运行状态
记录错误信息

实现：
日志模块在网上有很多现成的实现, 我们开发的时候，拿来用就好了

把日志模块中的相关配置信息放到配置文件中
修改日志模块代码，使用配置文件中的配置信息

# utils/log.py
import sys
import logging

# 导入settings中日志配置信息
from settings import LOG_FMT, LOG_DATEFMT, LOG_FILENAME, LOG_LEVEL

class Logger(object):

    def __init__(self):
        # 1. 获取一个logger对象
        self._logger = logging.getLogger()
        # 2. 设置format对象
        self.formatter = logging.Formatter(fmt=LOG_FMT,datefmt=LOG_DATEFMT)
        # 3. 设置日志输出
        # 3.1 设置文件日志模式
        self._logger.addHandler(self._get_file_handler(LOG_FILENAME))
        # 3.2 设置终端日志模式
        self._logger.addHandler(self._get_console_handler())
        # 4. 设置日志等级
        self._logger.setLevel(LOG_LEVEL)

    def _get_file_handler(self, filename):
        '''返回一个文件日志handler'''
        # 1. 获取一个文件日志handler
        filehandler = logging.FileHandler(filename=filename,encoding="utf-8")
        # 2. 设置日志格式
        filehandler.setFormatter(self.formatter)
        # 3. 返回
        return filehandler

    def _get_console_handler(self):
        '''返回一个输出到终端日志handler'''
        # 1. 获取一个输出到终端日志handler
        console_handler = logging.StreamHandler(sys.stdout)
        # 2. 设置日志格式
        console_handler.setFormatter(self.formatter)
        # 3. 返回handler
        return console_handler

    @property
    def logger(self):
        return self._logger

# 初始化并配一个logger对象，达到单例的
# 使用时，直接导入logger就可以使用
logger = Logger().logger

if __name__ == '__main__':
    logger.debug("调试信息")
    logger.info("状态信息")
    logger.warning("警告信息")
    logger.error("错误信息")
    logger.critical("严重错误信息")

3.3. 实现随机获取User-Agent 的请求头模块（http.py）

准备User-Agent的列表
实现一个方法, 获取随机User-Agent的请求头

import random

"""
5.2 http模块
我在从代理IP网站上抓取代理IP 和 检验代理IP时候, 为了不容易不服务器识别为是一个爬虫, 我们最好提供随机的User-Agent请求头.

目标: 获取随机User-Agent的请求头
步骤:
   1. 准备User-Agent的列表
   2. 实现一个方法, 获取随机User-Agent的请求头
"""

#   1. 准备User-Agent的列表
USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
]

# 实现一个方法, 获取随机User-Agent的请求头
def get_request_headers():
    headers = {
        'User-Agent': random.choice(USER_AGENTS),
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language': 'en-US,en;q=0.5',
        'Connection': 'keep-alive',
        'Accept-Encoding': 'gzip, deflate',
    }

    return headers

if __name__ == '__main__':
    print(get_request_headers())
    print(get_request_headers())
    print(get_request_headers())

3.4. 校验代理IP的协议类型、匿名程度，速度（httpbin_validator.py）

代理IP速度: 就是从发送请求到获取响应的时间间隔

匿名程度检查:
对 http://httpbin.org/get 或 https://httpbin.org/get 发送请求, 获取响应数据
如果 响应的origin 中有’,'分割的两个IP就是透明代理IP
如果 响应的headers 中包含 Proxy-Connection 说明是匿名代理IP
否则就是高匿代理IP

检查代理IP协议类型
如果 http://httpbin.org/get 发送请求可以成功, 说明支持http协议
如果 https://httpbin.org/get 发送请求可以成功, 说明支持https协议

import time
import requests
import json

from utils.http import get_request_headers
from settings import TEST_TIMEOUT
from utils.log import logger
from domain import Proxy
"""
 实现代理池的校验模块
目标: 检查代理IP速度,匿名程度以及支持的协议类型.
步骤:

检查代理IP速度 和 匿名程度;
    1. 代理IP速度: 就是从发送请求到获取响应的时间间隔
    2. 匿名程度检查:
        1. 对 http://httpbin.org/get 或 https://httpbin.org/get 发送请求
        2. 如果 响应的origin 中有','分割的两个IP就是透明代理IP
        3. 如果 响应的headers 中包含 Proxy-Connection 说明是匿名代理IP
        4. 否则就是高匿代理IP
检查代理IP协议类型
    如果 http://httpbin.org/get 发送请求可以成功, 说明支持http协议
    如果 https://httpbin.org/get 发送请求可以成功, 说明支持https协议
"""

def check_proxy(proxy):
    """
    用于检查指定 代理IP 响应速度, 匿名程度, 支持协议类型
    :param proxy: 代理IP模型对象
    :return: 检查后的代理IP模型对象
    """

    # 准备代理IP字典
    proxies = {
        'http':'http://{}:{}'.format(proxy.ip, proxy.port),
        'https':'https://{}:{}'.format(proxy.ip, proxy.port),
    }

    # 测试该代理IP
    http, http_nick_type, http_speed = __check_http_proxies(proxies)
    https, https_nick_type, https_speed = __check_http_proxies(proxies, False)
    # 代理IP支持的协议类型, http是0, https是1, https和http都支持是2
    if http and https:
        proxy.protocol = 2
        proxy.nick_type = http_nick_type
        proxy.speed = http_speed
    elif http:
        proxy.protocol = 0
        proxy.nick_type = http_nick_type
        proxy.speed = http_speed
    elif https:
        proxy.protocol = 1
        proxy.nick_type = https_nick_type
        proxy.speed = https_speed
    else:
        proxy.protocol = -1
        proxy.nick_type = -1
        proxy.speed = -1

    return proxy


def __check_http_proxies(proxies, is_http=True):
    # 匿名类型: 高匿: 0, 匿名: 1, 透明: 2
    nick_type = -1
    # 响应速度, 单位s
    speed = -1

    if is_http:
        test_url = 'http://httpbin.org/get'
    else:
        test_url = 'https://httpbin.org/get'

    try:
        # 获取开始时间
        start = time.time()
        # 发送请求, 获取响应数据
        response = requests.get(test_url, headers=get_request_headers(), proxies=proxies, timeout=TEST_TIMEOUT)

        if response.ok:
            # 计算响应速度
            speed =  round(time.time() - start, 2)
            # 匿名程度
            # 把响应的json字符串, 转换为字典
            dic = json.loads(response.text)
            # 获取来源IP: origin
            origin = dic['origin']
            proxy_connection = dic['headers'].get('Proxy-Connection', None)
            if ',' in origin:
                #    1. 如果 响应的origin 中有','分割的两个IP就是透明代理IP
                nick_type = 2
            elif proxy_connection:
                #    2. 如果 响应的headers 中包含 Proxy-Connection 说明是匿名代理IP
                nick_type = 1
            else:
                #  3. 否则就是高匿代理IP
                nick_type = 0

            return True, nick_type, speed
        return False, nick_type, speed
    except Exception as ex:
        # logger.exception(ex)
        return False, nick_type, speed


if __name__ == '__main__':
    # ping www.baidu.com 获取ip
    proxy = Proxy('112.80.248.75', port='80')
    print(check_proxy(proxy))

3.5. 实现数据库模块（增删改查功能和api功能—mongo_pool.py）

1.在init中, 建立数据连接, 获取要操作的集合, 在 del 方法中关闭数据库连接

2.提供基础的增删改查功能
1.实现插入功能
2.实现修改该功能
3.实现删除代理: 根据代理的IP删除代理
4.查询所有代理IP的功能

3.提供代理API模块使用的功能
1.实现查询功能: 根据条件进行查询, 可以指定查询数量, 先分数降序, 速度升序排, 保证优质的代理IP在上面.
2.实现根据协议类型 和 要访问网站的域名, 获取代理IP列表
3.实现根据协议类型 和 要访问网站的域名, 随机获取一个代理IP
4.实现把指定域名添加到指定IP的disable_domain列表中.

from pymongo import MongoClient
import pymongo
import random

from settings import MONGO_URL
from utils.log import logger

from domain import Proxy

"""
7. 实现代理池的数据库模块
作用: 用于对proxies集合进行数据库的相关操作
目标: 实现对数据库增删改查相关操作
步骤:
1. 在init中, 建立数据连接, 获取要操作的集合, 在 del 方法中关闭数据库连接

2.提供基础的增删改查功能
    2.1 实现插入功能
    2.2 实现修改该功能
    2.3 实现删除代理: 根据代理的IP删除代理
    2.4 查询所有代理IP的功能
3. 提供代理API模块使用的功能
    3.1 实现查询功能: 根据条件进行查询, 可以指定查询数量, 先分数降序, 速度升序排, 保证优质的代理IP在上面.
    3.2 实现根据协议类型 和 要访问网站的域名, 获取代理IP列表
    3.3 实现根据协议类型 和 要访问网站的域名, 随机获取一个代理IP
    3.4 实现把指定域名添加到指定IP的disable_domain列表中.
"""

class MongoPool(object):

    def __init__(self):
        # 1.1. 在init中, 建立数据连接
        self.client = MongoClient(MONGO_URL)
        # 1.2  获取要操作的集合
        self.proxies = self.client['proxies_pool']['proxies']

    def __del__(self):
        # 1.3 关闭数据库连接
        self.client.close()

    def insert_one(self, proxy):
        """2.1 实现插入功能"""

        count = self.proxies.count_documents({'_id': proxy.ip})
        if count == 0:
            # 我们使用proxy.ip作为, MongoDB中数据的主键: _id
            dic = proxy.__dict__
            dic['_id'] = proxy.ip
            self.proxies.insert_one(dic)
            logger.info('插入新的代理:{}'.format(proxy))
        else:
            logger.warning("已经存在的代理:{}".format(proxy))


    def update_one(self, proxy):
        """2.2 实现修改该功能"""
        self.proxies.update_one({'_id': proxy.ip}, {'$set':proxy.__dict__})

    def delete_one(self, proxy):
        """2.3 实现删除代理: 根据代理的IP删除代理"""
        self.proxies.delete_one({'_id': proxy.ip})
        logger.info("删除代理IP: {}".format(proxy))

    def find_all(self):
        """2.4 查询所有代理IP的功能"""
        cursor = self.proxies.find()
        for item in cursor:
            # 删除_id这个key
            item.pop('_id')
            proxy = Proxy(**item)
            yield proxy

    def find(self, conditions={}, count=0):
        """
        3.1 实现查询功能: 根据条件进行查询, 可以指定查询数量, 先分数降序, 速度升序排, 保证优质的代理IP在上面.
        :param conditions: 查询条件字典
        :param count: 限制最多取出多少个代理IP
        :return: 返回满足要求代理IP(Proxy对象)列表
        """
        cursor = self.proxies.find(conditions, limit=count).sort([
            ('score', pymongo.DESCENDING),('speed', pymongo.ASCENDING)
        ])

        # 准备列表, 用于存储查询处理代理IP
        proxy_list = []
        # 遍历 cursor
        for item in cursor:
            item.pop('_id')
            proxy = Proxy(**item)
            proxy_list.append(proxy)

        # 返回满足要求代理IP(Proxy对象)列表
        return proxy_list

    def get_proxies(self, protocol=None, domain=None, count=0, nick_type=0):
        """
        3.2 实现根据协议类型 和 要访问网站的域名, 获取代理IP列表
        :param protocol: 协议: http, https
        :param domain: 域名: jd.com
        :param count:  用于限制获取多个代理IP, 默认是获取所有的
        :param nick_type: 匿名类型, 默认, 获取高匿的代理IP
        :return: 满足要求代理IP的列表
        """
        # 定义查询条件
        conditions = {'nick_type': nick_type}
        # 根据协议, 指定查询条件
        if protocol is None:
            # 如果没有传入协议类型, 返回支持http和https的代理IP
            conditions['protocol'] = 2
        elif protocol.lower() == 'http':
            conditions['protocol'] = {'$in': [0, 2]}
        else:
            conditions['protocol'] = {'$in': [1, 2]}

        if domain:
            conditions['disable_domains'] = {'$nin': [domain]}


        # 满足要求代理IP的列表
        return self.find(conditions, count=count)

    def random_proxy(self, protocol=None, domain=None, count=0, nick_type=0):
        """
        3.3 实现根据协议类型 和 要访问网站的域名, 随机获取一个代理IP
        :param protocol: 协议: http, https
        :param domain: 域名: jd.com
        :param count:  用于限制获取多个代理IP, 默认是获取所有的
        :param nick_type: 匿名类型, 默认, 获取高匿的代理IP
        :return: 满足要求的随机的一个代理IP(Proxy对象)
        """
        proxy_list = self.get_proxies(protocol=protocol, domain=domain, count=count, nick_type=nick_type)
        # 从proxy_list列表中, 随机取出一个代理IP返回
        return random.choice(proxy_list)


    def disable_domain(self, ip, domain):
        """
        3.4 实现把指定域名添加到指定IP的disable_domain列表中.
        :param ip: IP地址
        :param domain: 域名
        :return: 如果返回True, 就表示添加成功了, 返回False添加失败了
        """
        # print(self.proxies.count_documents({'_id': ip, 'disable_domains':domain}))

        if self.proxies.count_documents({'_id': ip, 'disable_domains':domain}) == 0:
            # 如果disable_domains字段中没有这个域名, 才添加
            self.proxies.update_one({'_id':ip}, {'$push': {'disable_domains': domain}})
            return True
        return False

if __name__ == '__main__':
    mongo = MongoPool()
    # proxy = Proxy('202.104.113.35', port='53281')
    # # proxy = Proxy('202.104.113.36', port='53281')
    # mongo.insert_one(proxy)

    # proxy = Proxy('202.104.113.35', port='8888')
    # mongo.update_one(proxy)

    # proxy = Proxy('202.104.113.35', port='8888')
    # mongo.delete_one(proxy)

    # for proxy in mongo.find_all():
    #     print(proxy)

    # # dic = { "ip" : "202.104.113.38", "port" : "53281", "protocol" : 0, "nick_type" : 0, "speed" : 8.2, "area" : None, "score" : 50, "disable_domains" : [ "jd.com"] }
    # # dic = { "ip" : "202.104.113.39", "port" : "53281", "protocol" : 1, "nick_type" : 0, "speed" : 1.2, "area" : None, "score" : 50, "disable_domains" : [ "taobao.com"] }
    # # dic = { "ip" : "202.104.113.40", "port" : "53281", "protocol" : 2, "nick_type" : 0, "speed" : 4.0, "area" : None, "score" : 50, "disable_domains" : []}
    # # dic = { "ip" : "202.104.113.41", "port" : "53281", "protocol" : 2, "nick_type" : 0, "speed" : -1, "area" : None, "score" : 49, "disable_domains" : []}
    # proxy = Proxy(**dic)
    # mongo.insert_one(proxy)

    # # for proxy in mongo.find():
    # for proxy in mongo.find({'protocol':2}, count=1):
    #     print(proxy)

    # for proxy in mongo.get_proxies(protocol='https'):
    # for proxy in mongo.get_proxies(protocol='http', domain='taobao.com'):
    #     print(proxy)

    # mongo.disable_domain('202.104.113.38', 'taobao.com')
IT瘾君
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫-解析-站长素材.py
10-14
python爬取站长素材网站图片代码2023 使用时候将要爬取的网站修改就可。 若网站后续有修改，需要矫正xpath路径。
Python爬虫--听歌小代码.exe
06-24
实现听歌自由, 各个付费歌曲免费下载
Python域名解析
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
03-21 922
需求日常使用阿里云域名解析服务需要登录阿里云账号进行操作，但是这样手工操作费时费力。因此，我们需要使用Python编写程序来实现域名解析功能，以便快速方便地完成域名解析任务。具体实现过程为：通过调用阿里云API接口获取用户授权，然后使用Python的DNS解析库对域名进行解析，并将解析结果存储到本地或者发送到指定邮箱。这样就可以省去手动登录阿里云的步骤，大大提高了工作效率。
生信初级python 序列长度，domain数量
m0_53945548的博客
01-04 201
使用hmmer计算出domain之后，进行处理
『python爬虫』ip代理池使用 协采云 账密模式（保姆级图文）
MZH
03-01 513
『python爬虫』通用性ip代理池使用例子-协采云 账密ip代理使用（保姆级图文）
python 微博自动点赞_用 Python 自动定时发微博
weixin_39809793的博客
11-28 216
​其实小帅b已经挺久没有玩微博了，记得上次玩微博还是为了给周杰伦打榜，不过最近心血来潮，觉得俺的微博账号躺着也是躺着，要不就用 Python 做一个自动定时发微博的机器人，让它在上面飘一会。怎么个飘法呢？这不禁让我想到了一个叫做 “古城钟楼” 的微博账号，每天都定时定点的在上面 “铛铛档”，其它的啥也不干，但牛逼的是，人家就凭 “铛铛档” 就有了 100 多万粉丝，我特么都快给跪下了。所以我也打算...
Python爬虫代理池
jakelihua
01-22 1164
代理池是一组包含多个代理IP地址的集合。通过在爬虫中使用代理池，我们能够隐藏爬虫的真实IP地址，实现一定程度的匿名性。获取到代理IP后，需要进行验证，以确保这些IP是可用的。验证代理IP的一种简单方法是尝试通过它们发起HTTP请求，并检查响应状态码。代理池是一个动态的资源，需要定期维护。我们可以设置定时任务，定期检查代理IP的可用性，并将不可用的IP移除或更新。然而，为了应对网站的反爬虫机制和保护爬虫的真实身份，使用代理池变得至关重要。将验证通过的代理IP加入代理池，构建一个可供爬虫使用的代理池。
Python爬虫——代理和代理池
万里顾一程的博客
07-15 1万+
因此，我们一般都会建立一个代理，定期更换一个代理，即使这个IP被封了，也可以换另一个IP。使用User-Agent（用户代理）池，能够避免总是使用一个User-Agent来访问网站，因为短时间内总使用同一个User-Agent高频率访问的网站，可能会引起网站的警觉，从而屏蔽掉IP。代理池就是自己去收集网上的可用免费代理ip，自建自己的ip代理池。补充User-Agent（用户代理）池，类似IP代理池，就是把多个浏览器的User-Agent数据放入列表中，然后再从中随机选择一个来使用。.........
python-爬虫-web-数据分析.zip
最新发布
05-10
python-爬虫-web-数据分析.zippython-爬虫-web-数据分析.zippython-爬虫-web-数据分析.zippython-爬虫-web-数据分析.zippython-爬虫-web-数据分析.zippython-爬虫-web-数据分析.zippython-爬虫-web-数据分析....
Python爬虫代理IP池 getIP.py
01-10
Python爬虫代理IP池，根据自己需求数量搭建代理IP池保存到本地，调用方法返回池中随机一条可用IP信息，随用随取，十分方便
python爬虫-34-元组的总结.ev4.rar
10-06
python爬虫-34-元组的总结.ev4.rar
python3之爬虫代理IP的使用+建立代理IP池
热门推荐
淮南子.的博客
01-10 11万+
爬虫代理IP的使用+建立代理IP池代理IP的使用建立代理IP池完整代码 代理IP的使用 先了解一下百度百科定义的IP 为什么要使用代理IP? 反爬(反网络爬虫) 示例: 测试网址 http://httpbin.org/get 浏览器先访问下看看 再用我们写的代码简单请求一下网页看看 import requests url='http://httpbin.org/get' html=requests.get(url=url).text print(html) """ { "a
教你一步步创建属于自己的Python爬虫代理IP池（含代码示例）
xiangxue666的博客
06-29 1992
教你一步步创建属于自己的Python爬虫代理IP池（含代码示例）
python 创建代理池
哦豁灬
01-19 469
爬虫程序是批量获取互联网上的信息的重要工具，在访问目标网站时需要频繁发送请求，为了避免被目标网站封禁 IP 地址，我们需要使用代理 IP 来代替自己的 IP 地址进行访问。此时，就需要用到代理池。
Python学习：构建代理池
m0_65109001的博客
04-18 1649
python IP代理池
什么是 API 代理？
yugekuajing的博客
12-14 145
因此，总而言之，API 代理就像一个友好的助手，确保您可以轻松安全地使用在线服务。它并不完美，可能有一些小问题，但它可以帮助您充分享受在线冒险​。
探索免费HTTP代理API优势与潜在风险（代理https）
SUNSUNIP的博客
04-15 323
免费HTTP代理API作为一种便捷的网络工具，为用户提供了低成本、易获取的网络代理服务。通过理性选择和合规使用，用户可以充分发挥免费HTTP代理API的优势，实现高效、安全的网络访问和数据。HTTP代理API是一种提供代理服务的接口，用户可以通过调用该接口获取代理IP，进而实现网络请求的转发。免费HTTP代理API因其免费且易用的特性，吸引了大量用户的关注。：免费HTTP代理API通常提供多种调用方式和参数配置选项，用户可以根据实际需求进行灵活调整，满足不同的网络请求需求。IP，提高访问速度和成功率。
Python爬虫实战（二）：爬取构建代理IP池
努力让自己发光，对的人才能迎着光而来
11-28 2万+
啦啦啦
什么是代理池?如何设计Python爬虫代理池?
zy1992As的博客
06-26 891
上述代码中，'ProxyPool'类用于管理代理IP列表，其中的'fetch_proxy_list'方法用于从代理网站获取代理IP列表，'get_proxy'方法用于随机选择一个代理IP，'remove_proxy'方法用于从列表中移除当前使用的代理IP，'has_proxies'方法用于检查代理列表是否还有可用的代理IP。然后，通过循环遍历代理列表，每次从代理池中获取一个代理IP，并将其添加到请求的'proxies'参数中，发送请求。如果请求成功，就从代理池中移除该代理IP;
cefpython3-66.1-py2.py3-none-win32.whl
07-25
cefpython3-66.1-py2.py3-none-win32.whl是CEFPython库的一个特定版本的安装文件。CEFPython是一个用于在Python中嵌入Chromium浏览器的库，它允许你在Python应用程序中显示和操作Web内容。要安装cefpython3-66.1-py2...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值