requests.exceptions.InvalidHeader和伪造headers添加'Content-Type'的重要性_requests.exceptions.invalidheader: header part-CSDN博客

本文链接：https://blog.csdn.net/weixin_42812527/article/details/82791593

第一个问题：

今天在编写爬虫的时候在写headers时候：

headers = {
   "User-Agent": "   Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0",
}

“User-Agent” :" Mozilla"可能是无意中造成的Mozilla的前面添加一一些空格，然后就一直报错，真的是头大当时怎么都没有想到是这个原因，所以当你遇到headers错误的时候考虑是否无意中headers中有多余的空格。

第二个问题
我们知道有的时候我们在面对伪造请求头的时候一般只需要加上headers就够了，反正我就是这样做的，但是有的时候我们就可能会遇到只加请求头然而却获取不到数据，其他地方也没有报错，这个时候就要考虑你请求时候通过fiddler抓包返回出来的数据的类型，例如今天这个错误直接上代码：
在这里插入图片描述
作者这里是模拟登陆的时候所需要的字段显然是{"LoginName":"66","Pwd":"66"}，所以作者就开始进行了模拟登陆然而因为作者平时只加User-Agent的习惯就导致一直：

{"ResponseCode":500,"Data":null,"ResponseMsg":"发生内部异常"}

所以作者不禁怀疑难道是网站进行了其他加密然而让作者头痛的事情来了，加上cookies然而也没什么用，就想到了难道是因为伪造headers的问题出现了错误，就想到既然返回来的是json的数据那就应该加上请求类型，加上之后就直接能够获取到了。真是坑人啊。。。所以当遇到加上cookies也解决不了的问题或许你需要考虑是不是伪造headers出现了问题。