python爬虫代理方法_Python爬虫之使用代理ip的方法

我们在爬取数据的时候有可能会出现爬到一半就不动了，有可能是因为目标网站封了你的ip，因为程序的运行是非常快的，人为的访问速度没有那么快，所以会被封，我们可以有多种方法可以避免这种问题

第一种：

降低访问速度，我们可以使用time模块中的sleep，使程序每运行一次后就睡眠1s，这样的话就可以大大的减少ip被封的几率

第二种：

为了提高效率，我们可以使用代理ip来解决，ip是西刺代理的ip，代码我贴出来

# encoding: utf-8

import requests

import json

from lxml import etree

def get_page(url):

head ={

"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0"

}

response = requests.get(url=url, headers=head).text

# print(response)

html = etree.HTML(response)

return parse(html)

def paging():

ip_dict = {}

for page in range(1, 11):

url = "https://www.xicidaili.com/nn/{}".format(page)

ip_dict[page] = get_page(url)

data = json.dumps(ip_dict)

with open('ip.json', 'a+') as f:

f.write(data)

def parse(html):

list_ip = []

contents = html.xpath("//table[@id='ip_list']/tr[position()>1]")

for content in contents:

ip = content.xpath("./td[2]/text()")[0]

port = content.xpath("./td[3]/text()")[0]

mold = content.xpath("./td[6]/text()")[0]

# print(ip, port, mold)

list_ip.append(mold.lower()+':'+ip+":"+port)

return list_ip

if __name__ == '__main__':

paging()

复制以上的代码保存为*.py文件就可以了，保存完之后运行，可以使用这个网站测试我们访问网站的ip：测试ip