Python爬虫IP代理教程,让你不再为IP被封禁发愁!

本文来源没啥特别,因为没使用ip代理导致爬取boos直聘数据时,ip被封了,不过好在已解决,想看看博主的爬虫文章的可以点击下方链接,还是蛮全的。

 

一、免费代理ip地址推荐

站大爷
快代理
芝麻代理

芝麻代理需要注册,但注册后每天可以领取代理,还是很不错的
站大爷和快代理都有免费的开放代理
快代理也可以注册账号,在免费代理页面通过人工客服也可以领取试用独有IP

二、reuqests的ip代理

文章使用 http://httpbin.org/ip 这个测试 HTTP 请求及响应的网站

没使用ip代理之前

import requests

response = requests.get("http://httpbin.org/ip")
print(response.text)

使用ip代理之后

import requests

proxy = {
    'http': '171.35.171.247:9999'
}

response = requests.get("http://httpbin.org/ip",proxies=proxy)
print(response.text)

可以看见返回的ip和代理的ip一样

三、selenium的ip代理

没使用代理之前

from selenium import webdriver


driver = webdriver.Chrome()
driver.get("http://httpbin.org/ip")

使用代理之后

from selenium import webdriver



options = webdriver.ChromeOptions()
#添加IP代理
options.add_argument("--proxy-server=http://183.166.149.193:20005")

driver = webdriver.Chrome(chrome_options=options)
driver.get("http://httpbin.org/ip")

四、ip代理大坑(重点)

ip代理有http和https的区别,但很多小伙伴不清楚到底有什么区别,经过博主踩坑后终于搞懂了,在线分享给大家

1.

 

2.

结论:如果请求的ip是https类型的,但代理的ip是只支持http的,那么还是使用本机的ip,
如果请求的ip是http类型的,那么代理的ip一定要是http的,前面不能写成https。

你学会了吧,不用怕封IP了   想要视频教程  完整代码  获取加群:1136192749

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值