爬虫常见错误及解决

最新推荐文章于 2024-05-16 17:02:23 发布
最新推荐文章于 2024-05-16 17:02:23 发布
阅读量2.3k 收藏 3
点赞数 1
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/brink_compiling/article/details/51843051
版权

urllib2.HTTPError: HTTP Error 403: Forbidden

该错误是由于网站禁止爬虫，可以在请求加上相关头信息，伪装成浏览器访问，如伪装浏览器头：headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}。当然还有可能需要其他头信息，可以人工使用浏览器的调试功能进行测试。

urllib2.HTTPError: HTTP Error 405(Method Not Allowed)

http server端要求GET方法，而请求的时候却使用了POST方法，因此出现了405错误。查看请求方法将其修改即可，一般去掉data参数为GET方式请求

_compiling
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Error]爬虫[SSL: BAD_SIGNATURE] bad signature (_ssl.c:1045)
棉毛裤穿吗
03-03 1465
一开始尝试取消证书验证即原语句为 resp = requests.get(url, headers=headers, timeout=500) 改为 resp = requests.get(url, headers=headers, timeout=500, verify=False) 改完这个以后会报错
HTTP Error 405: Method Not Allowed 遇见的问题
庸医2048的博客
06-20 8072
return self._call_chain(*args) File "D:\Python36\lib\urllib\request.py", line 504, in _call_chain result = func(*args) File "D:\Python36\lib\urllib\request.py", line 650, in http_error_de...
爬虫常见报错（一）
最新发布
benbenxinchen的博客
05-16 748
尝试之后仍然无法解决，然后突然看到了我的headers里面的cookie字符串是乱码的，意识到了到了headers解码读取cookies的时候就已经报错，根本不是请求后返回文本的问题。一开始我以为是requests请求返回的内容编码有错误，所以在请求时添加了编码方式encoding，但是发现get方法居然没有这个参数（可能不同版本不一样把），所以我以为是写法的问题。最终把所有的内容写完后编译运行了一下，报错，搜了一下，发现是因为文件名与包的名称重复了！改一下文件名就好啦！至此，就完整的安装好了。
Python爬虫0.1
ccbrid的博客
08-27 571
国内使用scrapy框架不算很广泛，scrapy库的安装也较为麻烦。官网：https://scrapy.org/ 实验楼的教程课程预览： https://www.shiyanlou.com/courses/763/labs/2555/document https://www.shiyanlou.com/courses/763     记几个鬼错误： 1.   无论什么代码只要有'（'就会出现： 
[Python]网络爬虫（三）：异常的处理和HTTP状态码的分类
thewebcode
05-14 625
先来说一说HTTP的异常处理问题。 当urlopen不能够处理一个response时，产生urlError。 不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。 HTTPError是urlError的子类，通常在特定HTTP URLs中产生。1.URLError 通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况...
urllib2.HTTPError: HTTP Error 405(Method Not Allowed)
蜜糖的专栏
10-04 6959
http server端要求GET方法，而请求的时候却shiyon
学习python爬虫过程中整理的常见错误笔记
10-13
该excel文件是本人在学习使用python做爬虫过程中遇到的问题及解决办法、参考网站链接等信息【请忽略出现文件位置这列】。供交流学习使用。
python爬虫开发常见问题及其解决方法和经验总结.docx
04-14
Python爬虫开发中常见问题及其解决方法和经验总结主要包括以下几点： 网络请求问题 请求失败或超时：设置合理的超时时间，并使用异常处理机制（如try-except），当出现requests.exceptions.Timeout异常时进行重试...
python爬虫基础知识及爬虫实例.zip
01-22
通过阅读和运行这个实例，初学者可以更好地理解Python爬虫的运作流程，并从中学习到如何解决实际问题。 在实践中，还需要注意合法性和道德问题。爬虫应当遵守网站的robots.txt规则，尊重网站的版权，避免对服务器...
爬虫卡死问题解决.zip
05-28
5. **异常处理**：在爬虫编程中，网络错误、编码问题或数据解析异常是常见问题。良好的异常处理机制能确保程序在遇到错误时不会崩溃，并能提供有用的错误信息。 6. **页面渲染**：如果网页依赖JavaScript动态加载...
Java爬虫源码Java爬虫源码
04-25
- 在Java和Python中，都需要处理各种可能出现的异常，如网络连接失败、解析错误等，确保程序的健壮性。 9. **代码组织**： - 好的代码结构和设计模式（如单例、工厂、策略模式等）可以使爬虫项目易于维护和扩展。...
Python爬虫404错误：解决方案总结
Z_suger7的博客
11-28 2146
在进行网络爬虫开发的过程中，经常会遇到HTTP 404错误，即“Not Found”错误。这种错误通常表示所请求的资源不存在。对于爬虫开发者来说，处理这类错误是至关重要的，因为它们可能会导致爬虫无法正常工作。本文将探讨Python爬虫遇到404错误的解决方案，以及请求头在此过程中的重要性。
JSoup 爬虫遇到的 404 错误解决方案
Z_suger7的博客
12-28 1144
假设我们希望使用JSoup来爬取腾讯新闻的数据，但在实际操作中，我们却遇到404错误。这可能是因为腾讯新闻网站采取了一些反爬虫措施，例如检测请求头中的用户- Agent信息或者Referer信息，以识别爬虫行为并拒绝请求并返回404错误信息。在网络爬虫开发中，使用JSoup进行数据抓取是一种常见的方式。然而，当我们尝试使用JSoup来爬虫抓取腾讯新闻网站时，可能会遇到404错误。这种情况可能是由于网站的反面爬虫机制检测到了我们的爬虫行为，从而拒绝了我们的请求。
urllib.error.HTTPError: HTTP Error 405: Method Not Allowed
liyanpig的博客
06-15 3066
要用bytes进行转码解析
解决requests库中的期限处理问题：从404到异常再到修复
随便写写
11-18 417
解决requests库中的期限处理问题需要我们采取多种措施来应对不同的状况。通过控制请求频率、使用代理服务器、异常处理与重试机制以及修复问题源头等措施，我们可以有效地避免和解决因请求期限超过而导致的404错误。然而，需要注意的是，我们应该始终遵守目标网站的使用条款和相关法律法规，以避免触犯法律或被封禁。同时，我们还需要不断学习和探索新的技术方法来应对不断变化的网络环境和挑战。
使用python写一个爬虫所遇到的问题汇总
未金涛的博客
10-24 1073
1、请求头的伪装 1.1、 前言 比较常见的反爬虫策略，就是验证请求头里的User-Agent内容和请求的IP地址。所以我们需要伪装我们的请求头和发起请求的IP地址。请求头的伪装我们可以使用fake-useragent库，随机的生成User-Agent。 1.2、实际使用中：我们可能还是会遇到2个问题。 第一个：User-Agent 调用太过频繁报错 第二个：目标网站反爬虫策略不仅仅验证了，我上面所说的东西。 针对以上2个问题最简单的方式，就是捕获此异常。然后调用 time.sleep(2)，让程序休
HTTP请求出现405 not allowed的一种解决办法经验分享
热门推荐
bigdogdogkun的博客
10-15 5万+
在最近对接统一支付平台的过程中，相信很多产品，包括云空间都遇到了支付成功后回调支付成功页时，报405 method not allowed的情况。这是因为支付成功后，回调的请求方式是post，而大多数产品的支付成功页是一个静态页面，要知道Apache、IIS、Nginx等绝大多数web服务器，都不允许静态文件响应POST请求。 以nginx为例，当post请求静态页面时，会直接报405 curl -X POST http://127.0.0.1:8081/test.html <html&gt
HTTP ERROR 405 Method Not Allowed
weixin_43601042的博客
04-14 3242
一般访问web UI的时候出现以上错误，都是浏览器的防火墙问题 可以进行在安全设置里取消一些防护功能即可
python爬虫常见错误解析
09-27
常见的Python爬虫错误解析包括语法错误、JS算法变化导致Python实现无法使用、爬虫部署问题等。 1. 语法错误：这是最常见的错误之一，通常是由于在编写代码时出现了拼写错误、缺少括号或其他语法错误导致的。您可以通过仔细检查代码，并使用Python的调试工具来帮助找出并解决这些错误。 2. JS算法变化：如果您的爬虫依赖于解析网站上的JS代码，那么一旦网站的JS算法发生变化，您的Python实现可能就无法正常工作了。为了解决这个问题，您可能需要重新分析JS代码，或者考虑使用其他方法来获取所需的数据，例如使用API或其他可访问的数据源。 3. 爬虫部署问题：当您需要处理大规模的爬虫任务时，可能需要考虑分布式爬虫的部署。尽管分布式爬虫可以提高抓取速度，但也会增加管理的复杂性。您需要确保正确配置分布式环境、协调任务分配和数据同步等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值