今天认识了一些初级的反扒手段。
在网页的检查中，我们可以在Element里看到网页的信息，个人信息页面是utf-8，但是还报错了编码错误，因为并没有进入到个人信息页面而是跳转到了登陆页面。这时就可能是网页的meta charset不是utf-8，而是一些特定的字符串。我们可以在response,read().decode('特定字符串')。
有时我们已经爬取到需要的内容，但是无法加载进入，可能是缺少了cookie和referer。cookie一般携带登录信息，referer判断当前路径是不是由上一个路径进来的。一般情况下是图片防盗的措施。有些网页需要referer，有些不需要。
今天就这些，8.
扫一扫
611
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
