python requests、xpasth爬虫使用代理IP池爬取博客,增加浏览量

这是一个分析IP代理网站，通过代理网站提供的ip去访问CSDN博客，达到以不同ip访同一博客的目的，以娱乐为主，大家可以去玩一下。

首先设置User-Agent:

 #准备部分
#1.headers
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0'}

然后百度一个IP代理网站，我选用的是https://www.kuaidaili.com/free，解析网页，提取其中的ip、端口、类型，并以list保存：

#1.获取IP地址
    html=requests.get('https://www.kuaidaili.com/free').content.decode('utf8')
    tree = etree.HTML(html)
    ip = tree.xpath("//td[@data-title='IP']/text()")
    port=tree.xpath("//td[@data-title='PORT']/text()")
    model=tree.xpath("//td[@data-title='类型']/text()")

接着分析个人博客下的各篇文章的url地址，以list保存

#2.获取CSDN文章url地址   ChildrenUrl[]
url='https://blog.csdn.net/weixin_43576564'
response=requests.get(ur