python爬虫遇到IP被封的情况，怎么办？

#使用ProxyHandler设置代理

proxy_handler = ProxyHandler({

‘http’: ‘http://’ + proxy,

‘https’: ‘https://’ + proxy

})

#传入参数创建Opener对象

opener = build_opener(proxy_handler)

try:

response = opener.open(‘http://httpbin.org/get’)

print(response.read().decode(‘utf-8’))

except URLError as e:

print(e.reason)

② requests的代理设置

import requests

proxy = ‘127.0.0.1:8888’

#需要认证的代理

#proxy = ‘username:password@127.0.0.1:8888’

proxies = {

‘http’: ‘http://’ + proxy,

‘https’: ‘https://’ + proxy,

}

try:

response = requests.get(‘http://httpbin.org/get’, proxies=proxies)

print(response.text)

except requests.exceptions.ConnectionError as e:

print(‘Error’, e.args)

③ Selenium的代理使用

• 使用的是PhantomJS

from selenium import webdriver

service_args = [

‘–proxy=127.0.0.1:9743’,

‘–proxy-type=http’,

#‘–proxy-auth=username:password’ #带认证代理

]

browser = webdriver.PhantomJS(service_args=service_args)

browser.get(‘http://httpbin.org/get’)

print(browser.page_source)

• 使用的是Chrome

from selenium import webdriver

proxy = ‘127.0.0.1:9743’

chrome_options = webdriver.ChromeOptions()

chrome_options.add_argument(‘–proxy-server=http://’ + proxy)

chrome = webdriver.Chrome(chrome_options=chrome_options)

chrome.get(‘http://httpbin.org/get’)

④ 在Scrapy使用代理

#在Scrapy的Downloader Middleware中间件里

…

def process_request(self, request, spider):

request.meta[‘proxy’] = ‘http://127.0.0.1:9743’

…

免费代理IP的使用

---

我们可以从互联网中获取免费的代理IP：如：西刺

import requests,random

#定义代理池

proxy_list = [

‘182.39.6.245:38634’,

‘115.210.181.31:34301’,

‘123.161.152.38:23201’,

‘222.85.5.187:26675’,

‘123.161.152.31:23127’,

]

随机选择一个代理

proxy = random.choice(proxy_list)

proxies = {

‘http’: ‘http://’ + proxy,

‘https’: ‘https://’ + proxy,

}

try:

response = requests.get(‘http://httpbin.org/get’, proxies=proxies)

print(response.text)

except requests.exceptions.ConnectionError as e:

print(‘Error’, e.args)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）