request python disable proxy_python爬虫反爬取---设置IP代理自动变换requests.get()中proxy的IP...

今天做了个随机变换IP的功能

由于今天懒得写爬虫爬取西刺网 (http://www.xicidaili.com/wt/) 的ip和端口号

西刺网

就简单写了个py来用人肉的方法一个一个试IP(捂脸)，事实证明太傻了

__author__ = 'Lee'

from headers import requests_headers # 上一篇文章中所写的自动转变headers文件

from bs4 import BeautifulSoup

import requests

header = requests_headers() #调用requests_headers() 返回一个随机的headers文件

proxies = {'http': 'http://139.0.28.18:8080'} #这个地方换一下ip和端口号

url = 'http://www.whatismyip.com.tw' #访问这个网站可以返回你的IP地址 以此验证是否变换成功

try:

wb_data = requests.get(url,headers=header,proxies=proxies,timeout=5) #timeout 限定5秒相应后就退出执行

soup = BeautifulSoup(wb_data.text,'lxml')

print(soup)

except(requests.exceptions.ProxyError,requests.exceptions.ConnectTimeout):

print('failed!')

#国外I