requests.exceptions.JSONDecodeError: Expecting value: line 1 column 4 (char 3)

requests.exceptions.JSONDecodeError: Expecting value: line 1 column 4 (char 3)

记录爬虫出现的错误

在爬取数据过程中出现“requests.exceptions.JSONDecodeError: Expecting value: line 1 column 4 (char 3)”，查了一圈也没找到正确的解释，几经曲折找到解决方法，在这里记录下。

报错原因

获取的数据不是完整的json数据格式，结果导致不能获取正确的json数据

解决方法

1.通过开发者工具查看返回响应数据是完整json数据
通常考虑数据返回情况是否有问题 response.text 获取响应文本数据
2.通过获取文本数据查看，代码返回数据和开发者工具查看数据不一致
通常考虑是否被反爬

什么情况会被反爬:

1.返回数据不是你想要的
2.没有返回数据

如何确认是否被反爬?

1.采集快过出现IP被封了 有验证码了
2.模拟伪装是否不够
多加一些请求头参数如cookie，进行伪装headers
3.查看请求参数/请求头 是否存在加密

最终解决方法

多加一些请求参数如cookie，其中cookie可能是动态刷新的，经过一段时间可能刷新需要重新进行更新。