最近几天在写一个项目,和之前不同的是我想要的内容都在html标签里,所以选择xpath或者bs4来提取相关的内容,在实践的过程中遇到了一些问题,特此记录以便于查阅。
现象一:浏览器响应内容和程序响应内容不一致
当你在抓包的时候,找到了你想要的内容,并且响应的内容和页面是一致的,但是在写程序的时候,发现跑出来的内容却不一样(注意elements里面的内容和响应不一致的原因是有JS动态加载)
(1):所带的cookie不一致。比如你登陆的时候带有cookie,不登陆的时候也带登陆的cookie,响应也有可能不一样。
(2):User-Agent是否和机器一致。如果你用的是m端url发的请求,却带的是web端的User-Agent,响应结果肯定不一样
(3):…………………………………………………………