python爬虫——爬取（66ip）代理

代理

代理是啥就不说了，不搞理论，咱就先拿来用起来下边一张图就能简单了解一些。

最近，由于爬取某招聘网站信息，一不小心被封了，这让我这个菜鸟难受至极，不是说没有不能爬的网站吗？

难过的遭遇

免费的代理网站还是有很多的，西次代理，快代理。。。but！！爬了几百页，再加上验证竟然就俩能用的，我还是在半夜1点爬的，难道人家服务器断电了吗？但是已经到这份上了，我咋能放弃呢。赶紧去搜罗了其他的免费代理网站。http://www.66ip.cn/这个拯救了我，果然666。

爬取代理很简单

正常爬取就可以了，给代码。

# -*- coding: utf-8 -*-
"""
Created on Tue Aug 27 08:34:22 2019

@author: gwiely
"""

import requests
from lxml import etree
import time
import random

def get_ip_list(url):
    headers = {
      'User_agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
      'referer': 'http://www.66ip.cn/index.html',
      'Host': 'www.66ip.cn'
    }
    response = requests.get(url,headers=headers)
    page_html = response.text
    html = etree.HTML(page_html)
    content_lists = html.xpath('//div[@align="center"]/table/tr')[1:]
    for content_list in content_lists:
        ip = content_list.xpath('./td[1]/text()')[0]
        port = content_list.xpath('./td[2]/text()')[0]
        result = "http://"+ip+":"+port
        yield result


def check_ip(proxy_str):
    url = "http://www.baidu.com"
    proxy = {
            "http": proxy_str,
            "https": proxy_str
    }
    try:
        response = requests.get(url, timeout=5, proxies=proxy)
        print("可以使用的代理IP：{}".format(proxy_str))
        return True
    except:
        print("破烂IP，服务器辣鸡：{}".format(proxy_str))
        return False

def main():
    usable_ip_list = []
    fileWriter = open('UsabelIP.txt', 'a')
    for i in range(1, 100):
        url = "http://www.66ip.cn/{}.html".format(i)
        print("第{}页,url :  {}".format(i, url))
        proxy = get_ip_list(url)
        for proxy_str in proxy:
            if check_ip(proxy_str):
                usable_ip_list.append(proxy_str)
                fileWriter.write(proxy_str+"\n")
        time.sleep(random.randint(4,8))
    fileWriter.flush()
    fileWriter.close()

if __name__=='__main__':
    main()

最终，还是爬到了一些可以用的。
发现了一个问题，单线程爬取的速度确实伤。我也是刚开始学，接下来就看看多线程。搞好了再来分享。