爬虫小程序

应爬取新数据的急迫需求，学习和整理如下爬虫程序供后续学习和使用！修改各个路径和URL后本代码就可以正常执行了。

主要步骤：
1.西刺网上爬取IP数据；
2.检验爬取的IP的有效性；
3.将有效IP封装在List数据结构中构造成一个IP池，每次爬取数据时，随机从IP池中选取一个IP来做代理使用，防止自己电脑被反爬虫和谐掉！
4.传入有效的目标网站的URL即可访问数据。

#爬取可用公网IP构建IP池,每次使用后随机切换IP反爬虫:现用现爬取,爬取新的然后去使用掉.
#python2.7/3.x下open()形式均可以使用:针对西刺网
from bs4 import BeautifulSoup
from urllib import request
import random
import urllib
import requests
import time
import urllib.request  
import urllib.parse 
import time  
from multiprocessing import Pool#多进程
import random
from lxml import etree  #解析
import pandas as pd
def IP_pool(path):
    s = requests.session()
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
    }
    ip_list_all = []
    for i in range(1,20): #观察到网页的URL最后一位表示网页的页号,实现翻页爬取功能,好像20页可以正常爬取,再多就不行了。
        rs = s.get(url="http://www.xicidaili.com/nn/"+str(i), headers=header) #封装成浏览器去访问
        
        soup = BeautifulSoup(rs.text, "lxml")
        ip_list = soup.select_one("#ip_list").select("tr")
        ip_info_list_key = ["ip", "port", "address", "hidden", "type", "speed", "conn_time", "survival_time", "verify_time"]
        
        for item in ip_list[1:]:
            ip_info_list_value = []
            ip_info = item.select("td")
            for info in ip_info[1:]:
                if info.select_one(".bar"):
                    ip_info_list_value.append(info.select_one(".bar")["title"])
                else:
                    ip_info_list_value.append(info.get_text().strip())
            ip_list_all.append(dict(zip(ip_info_list_key, ip_info_list_value)))
    
    print(len(ip_list_all))
    # 将爬取到的IP都写text文件
    with open(path,'w+') as ws:
        ws.write("0")
        ws.write('\t')
        ws.write("序号")  # 在1行1列写入
        ws.write('\t')
        ws.write("IP地址")
        ws.write('\t')
        ws.write("端口")
        ws.write('\t')
        ws.write("服务器地址")
        ws.write('\t')
        ws.write("是否匿名")
        ws.write('\t')
        ws.write("类型")
        ws.write('\t')
        ws.write("速度")
        ws.write('\t')
        ws.write("连接时间")
        ws.write('\t')
        ws.write("存活时间")
        ws.write('\t')
        ws.write("验证时间")
        ws.write('\n')
        i = 0
        for item in ip_list_all:
            i += 1
            ws.write(str(i))  # 在i+1行1列写入
            ws.write('\t')
            ws.write(item["ip"])
            ws.write('\t')
            ws.write(item["port"])
            ws.write('\t')
            ws.write(item["ad