爬虫案例三：IP限制

最新推荐文章于 2021-08-18 16:22:42 发布

置顶 CoderYYN

最新推荐文章于 2021-08-18 16:22:42 发布

阅读量593

点赞数

分类专栏： Python 爬虫爬虫案例文章标签：爬虫 IP限制案例

本文链接：https://blog.csdn.net/ychgyyn/article/details/101798142

版权

Python 同时被 3 个专栏收录

35 篇文章 1 订阅

订阅专栏

爬虫

14 篇文章 0 订阅

订阅专栏

爬虫案例

3 篇文章 1 订阅

订阅专栏

爬虫教程系列三

在学习了前面的案例以后，我们写起普通的爬虫已经是得心应手了，可是我们慢慢发现，在爬虫运行一段时间后，就会弹出验证码页面，这是为什么呢，原因是短时间内多次请求被服务器识别出来是爬虫了，所以我们需要使用代理来解决服务器对我们的IP识别

题目网站

网址：http://glidedsky.com/login

代码

import requests

proxy = '127.0.0.1:10080'
proxies = {
    'http': 'http://' + proxy,
    'https': 'https://' + proxy,
}
try:
    response = requests.get('http://httpbin.org/get', proxies=proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print('Error', e.args)