写爬虫过程中的常见问题与错误

已于 2022-10-25 16:40:32 修改
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 爬虫 文章标签： 爬虫 python 开发语言
于 2019-10-27 21:31:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Stalla_s_bf/article/details/102771855
版权
在使用requests进行爬虫时，可能会遇到网页乱码、InvalidHeader错误和请求不到页面数据的问题。解决方法包括设置正确的编码方式以避免乱码，删除User-Agent头部的多余空格以消除InvalidHeader错误，以及针对由js渲染的内容，通过检查Network中的js文件获取所需数据和对应的Headers。
摘要由CSDN通过智能技术生成

requests

错误一：网页出现乱码在这里插入图片描述

出现乱码的原因是因为网页解码过程中没有设置如何编码，使用如下代码即可：

html = requests.get(url,headers = headers)
html.encoding = 'gbk'#定义编码方式

错误二：InvalidHeader: Invalid return character or leading space in header: User-Agent

对于初学爬虫的小伙伴而言，这非常令人摸不着头脑，我们来看看错误的headers：

headers
最低0.47元/天 解锁文章
cqu_coder
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习python爬虫过程中整理的常见错误笔记
10-13
该excel文件是本人在学习使用python做爬虫过程中遇到的问题及解决办法、参考网站链接等信息【请忽略出现文件位置这列】。供交流学习使用。
Python爬虫错误合集及解决方案
小白_L的博客
11-28 1997
记录一下大家在使用Python爬虫过程中可能会遇到的错误以及相应解决办法。
Invalid return character or leading space in header: User-Agent 错误
qq_42621977的博客
05-10 9136
不是第一次使用请求头了，这个错误确实第一次遇见。 raise InvalidHeader("Invalid return character or leading space in header: %s" % name) requests.exceptions.InvalidHeader: Invalid return character or leading space in heade...
爬虫常见报错（一）
最新发布
benbenxinchen的博客
05-16 744
尝试之后仍然无法解决，然后突然看到了我的headers里面的cookie字符串是乱码的，意识到了到了headers解码读取cookies的时候就已经报错，根本不是请求后返回文本的问题。一开始我以为是requests请求返回的内容编码有错误，所以在请求时添加了编码方式encoding，但是发现get方法居然没有这个参数（可能不同版本不一样把），所以我以为是写法的问题。最终把所有的内容写完后编译运行了一下，报错，搜了一下，发现是因为文件名与包的名称重复了！改一下文件名就好啦！至此，就完整的安装好了。
Python爬虫带header报错
qq_41571224的博客
08-22 2957
Python爬虫带header报错解决方法 不得不说爬虫理论看起来简单，操作起来就报这个错那个错，今天记录一下爬百度贴吧报过的错，以及解决方案。 1.requests.exceptions.InvalidHeader: Invalid return character or leading space in header: User-Agent 这个报错是说request里面带了无效的header，无效的返回字符或者前面的几个字符有问题。 问题发生背景：我的header是直接从fiddler里面复制出来放到
爬虫js逆向获取信息，有道翻译逆向{‘errorCode‘: 50}及UA错误
weixin_47481982的博客
10-12 604
有道翻译，js逆向，报错相关记录
requests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent错误
qq_54641516的博客
07-24 5558
百度无果，后来发现是粗心的问题在从浏览器贴回来的请求头信息里面，不能有空格。进行爬虫操作时，出现了没见过的问题。一个空格这类的问题很难发现，共勉。
【python】InvalidHeader: Invalid return character or leading space in header: user-agent
爱学的萌萌虾
08-14 3495
运行爬虫代码时，出现这个错误：requests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent 小虾也查询了许多资料，终于找到解决方法： 因为我们在复制网页的user-agent，如下图所示： 画红圈的地方，多了个空格，把其删除了就好。 删除了之后，一切就正常了。 ...
Python3环境安装Scrapy爬虫框架过程及常见错误
09-19
主要介绍了Python3环境安装Scrapy爬虫框架过程及常见错误 ,本文给大家介绍的非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
爬虫开发常见面试题.docx
04-11
- 1. 什么是网络爬虫（Web Crawler）？... 如何处理在爬取过程中可能遇到的异常和错误？请说明在爬虫开发中如何进行异常处理。 - 11. 爬虫开发中如何避免重复爬取数据和处理重复数据？请说明在爬虫开发中的去重策略。
爬虫开发常见面试题.pdf
04-10
- 1. 什么是网络爬虫（Web Crawler）？... 如何处理在爬取过程中可能遇到的异常和错误？请说明在爬虫开发中如何进行异常处理。 - 11. 爬虫开发中如何避免重复爬取数据和处理重复数据？请说明在爬虫开发中的去重策略。
requests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent
weixin_44606217的博客
03-31 3838
Python爬虫问题解决： SyntaxError: invalid syntax
Ajdidfj的博客
03-30 2306
import urllib.request import requests url = 'https://hz.lianjia.com/zufang/' headers = ( 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36' ) # headers = ('User-Agent':'Mo...
python爬虫报错requests.exceptions.MissingSchema: Invalid URL
qq_39212193的博客
07-09 6890
把开头的 #encoding=gbk改为utf-8
数据提取（JSON）
weixin_54964904的博客
07-04 1828
文章目录一 一 由于把json中的数据转化成python内建数据类型很简单，所以我们在爬虫中尽量使用能返回json数据的url，就会尽量使用这种url。json是一种轻量级的数剧交互格式。
接口自动化常遇到的坑
qq_29535381的博客
04-22 2004
1.requests.exceptions.InvalidHeader: Invalid return character or leading space in header: Accept-Encoding 原因就是出在：Accept-Encoding 的gizp前多了一个空格 2. [Errno 22] Invalid argument: ‘F:\test_io\x0ciles\x0cf....
报错InvalidHeader: Invalid return character or leading space in header: User-Agent
m0_56005581的博客
10-26 315
如图，冒号后面的字符串开头不能是空格。
网络爬虫常见问题汇总
weixin_41108515的博客
04-13 3024
网络爬虫常见问题汇总 问题一：使用requests库或者urllib库获取源代码时无法正常显示中文 解决方法： （1）requests库的文本中有两种类型，一种是文本类型，使用text属性，一种是针对音频、视频、图片等二进制数据类型，使用content属性；一般返回的是text属性时会出现中文乱码现象，因此在输出返回之前需要显示的修改属性encoding，将其赋值为“utf-8”或者是appare...
爬虫过程中会遇到的问题
06-09
在爬虫过程中，可能会遇到以下一些常见的问题： 1. 网站反爬虫策略：有些网站会采取一些反爬虫策略，如 IP 封禁、验证码等，需要采取一些应对措施。 2. 网站结构变化：有些网站可能会不定期地更改网站结构，导致爬虫无法正确获取数据。 3. 数据格式不统一：不同网站或同一网站不同页面的数据格式可能不同，需要针对不同情况进行处理。 4. 爬取速度过快：如果爬取速度过快，可能会对目标网站造成过大的负荷，甚至被封禁 IP，需要设置合适的爬取速度。 5. 数据量过大：爬取到的数据量可能会非常大，需要进行适当的数据处理和存储。 6. 爬虫出错：在爬虫过程中可能会出现各种错误，如网络连接异常、服务器响应超时等，需要进行异常处理和重试机制。 以上是我列举的一些常见问题，当然还有其他的问题。在进行爬虫项目时，需要具备一定的技术能力和经验，并且需要不断学习和改进，才能更好地应对各种问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值