我们在爬取json网页数据时,有时候获取json数据获取失败
无论我们换成:response.body_as_unicode()
response.body
response.text
都无法获取网页json时,证明网页有可能进进行了特殊的设置(反爬虫)
此时我们换一种json格式解析库:demjson
会发现解析出来的是不完整发json格式:
因为demjson 他可以解析不规则的json数据,此时只需要用正则表达式或替换字符转换为json格式的数据即可:
最后正常进行json调用即可!