自己设置代理池

# -*- coding:utf-8 -*-
import requests
import pymysql
from fake_useragent import UserAgent
# Selector 引入
from scrapy.selector import Selector
'''
1.爬虫每次发起请求需要从代理池中提取一个可用代理,如果提取的代理不可用,从代理池中删除
2.当代理池中的代理少于某个程度,需要重新爬取一部分代理,添加到代理池中
'''
ua = UserAgent()

conn = pymysql.connect(
    host= '127.0.0.1',
    user= 'root',
    password='123456',
    db = 'ipdb',
    port=3306
)
cursor = conn.cursor()


def crawler_ip(url):
    # 准备请求头
    headers = {
        'User-Agent':ua.random,
        'Host':'www.xicidaili.com'
    }
    response = requests.get(url=url,headers=headers)
    # 正则 bs4 xpath
    # 根据返回的数据创建Selector对象
    selector =Selector(text=response.text)
    # 通过xpath查找数据
    trs = selector.xpath("//table[@id='ip_list']/tr")
    for tr in trs[1:]:
        ip = tr.xpath('td[2]/text()').extract_first('')
        port = tr.xpath('td[3]/text()').extract_first('')
        life_time = tr.xpath('td[9]/text()').extract_first('')
        ip_type = tr.xpath('td[6]/text()').extract_first('')
        if '分钟' not in life_time:
            # 将ip和端口插入数据
            insert_ip(ip,port,ip_type)


def insert_ip(ip,port,ip_type):

    # 1.根据ip查询数据,如果查询有结果说明数据库中已经有这个信息
    sql = "SELECT * FROM iptable WHERE ip='%s'"%ip
    res = cursor.execute(sql)
    if res != 0:
        print('该ip已存在!')
        return
    # 插入数据之前,需要判断ip是否已经存在,如果已经存在,就不用再次插入数据

    sql = "INSERT INTO iptable VALUES('%s','%s','%s')"%(ip,port,ip_type)
    cursor.execute(sql)
    conn.commit()

# 获取可用的ip
def get_random_ip():
    # 获取ip之前,判断ip个数
    sql = "SELECT * FROM iptable"
    rs = cursor.execute(sql)
    if rs < 20:
        # 重新获取一次
        ip_request()

    # 随机从数据库中取出一条数据
    sql = "SELECT * FROM iptable ORDER BY RAND() LIMIT 1"
    cursor.execute(sql)
    rs = cursor.fetchone()
    # 取出ip信息
    ip = rs[0]
    port = rs[1]
    ip_type = rs[2]
    # 测试这个ip是否用
    try:
        # 准备
        proxy_dict = {
            ip_type.lower():'{}://{}:{}'.format(ip_type.lower(),ip,port)
        }
        # requests使用代理发送请求
        response = requests.get('http://www.baidu.com',proxies=proxy_dict,timeout = 0.5)
    except Exception as e:
        print(ip,'不可用!')
        # 删除该ip
        delete_ip(ip)
        # 重新获取一个ip
        get_random_ip()
    else:
        return '{}:{}'.format(ip,port)

def delete_ip(ip):
    sql = "DELETE FROM iptable WHERE ip='%s'"%ip
    cursor.execute(sql)
    conn.commit()

# 获取ip的请求函数
def ip_request():

    for x in range(1, 6):
        print('正在获取第%s页ip' % x)
        # 拼接地址
        url = 'http://www.xicidaili.com/nn/%s' % x
        crawler_ip(url)

if __name__ == '__main__':

    ip = get_random_ip()
    print(ip)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 创建option对象
opt = Options()
# 设置为无头浏览器
opt.add_argument('--headless')
# 根据opt创建谷歌浏览器
d = webdriver.Chrome(options=opt)

d.get('http://www.baidu.com')

d.save_screenshot('1.png')

d.quit()