Python批量爬取代理ip，并自动插入到Excel表格

思路：

以“http://www.66ip.cn/”网址为例，使用requests访问，通过xpath解析相关标签数据，将数据以列表的形式提取出来组成新的列表，然后再插入表格。然后再通过每页跳转时URL的变化规律进行URL重组后，进行循环访问爬取。

推荐安装xpath插件，直接将相关标签的数据xpath路径复制即可查看变化，如下图：

附上完整代码：

import requests
from lxml import etree
import pandas as pd
import json

#需要爬取的网址
#base_url = "http://www.66ip.cn/"
#定义存放所有页面URL的列表
all_urls = []
#以10页为例，根据规律拼写每页的URL，变化的只是数字，所以使用format函数来实现数字传参
for i in range(1,11):
    create_url = 'http://www.66ip.cn/{}.html'