爬虫代理池

目的:

"""

1. 爬虫每次发起请求需要从代理池中提取一个可用代理, 如果提取的代理不可用, 从代理池中删除

2. 当代理池中的代理少于某个程度, 需要重新爬取一部分代理, 添加到代理池中

"""

用到的一些包(看个人需求)

import requests

# 连接数据库

import pymysql

# 第三方包的随机请求头

from fake_useragent import UserAgent

# 与 from lxml import etree 一样

from scrapy.selector import Selector

逻辑:

"""

1. 连接数据库, 获取游标

2. 准备请求头, 通过requests.get获得网页响应

3. 根据返回的数据创建Selector对象

selector = Selector(text=response.text)

4. 通过xpath查找数据(ip, port, life_time, ip_type)(因为免费的ip会有过期时间, 所以需要将过期时间较短的从中删除)

5. 根据ip查询数据, 如果查询有结果说明数据库中已经有这个信息

6. 插入数据之前, 需要判断ip是否已经存在, 如果已经存在, 就不用再次插入数据

7. 获取可用的ip, 获取可用ip之前, 判断ip个数, 这里设定一个范围如果ip个数小于多少时, 重新获取一次

8. 随机从数据库中取出一条数据, 这里是随机取出一行,需要执行完这条sql语句后加:

rs = cursor.fetchone()

# 取出ip信息

ip = rs[0]

port = rs[1]

ip_type = rs[2]

9. 测试这个ip是否有用, 这里可以使用:

try:

    proxy_dict={

            ip_type.lower():'{}://{}:{}'.format(ip_type.lower(), ip, port)}

    # requests使用代理发送请求

            response = requests.get('http://www.baidu.com', proxies=proxy_dict, timeout=0.5)

    # 这里设置延迟时间0.5秒, 检测这个ip能不能用. 我的想法是不仅能用而且要快, 当然这个时间可以进行你的需要来调整,但一般不超过2秒, 除非你是慢性子~~

except Exception as e:

            print(ip, '不可用')

            # 删除该ip

            delete_ip(ip)

            # 重新获取一个ip

else:

        return '{:}{}'.format(ip, port)

"""

注意: 写的可能不太详细, 但能通这个能明白大概逻辑就行, 如果想要源码可以留言 ! 博主爬取的是西刺