相信很多接触过爬虫的师傅,在对某博进行请求的时候,发现某博是会对cookie校验的,而我们在模拟操作的时候,是直接把浏览器的cookie进行copy,虽然我没有测试过这个cookie的有效期,但我觉得这样只适合日常测试或教学,不能实现一劳永逸。
当我们没有携带cookie进行某博的访问时,会出现Sina Visitor System字样的标题,如果我们是正常的浏览器访问的话,这个空白页面会一闪而逝,然后跳转到某博界面,所以可以确定,这个页面就是某博的反爬机制,我们的研究也就从此处开始。
测试链接:
https://s.weibo.com/weibo?q=%E8%9C%98%E8%9B%9B%E4%BE%A0
打开一个无痕界面,在F12中打开,停用JavaScript,因为空白界面一闪而逝,我们要先停掉跳转,方便分析。
访问链接,我们看到了这个反爬页面的全貌,此处空白是空白页的颜色。
我们对此处断点,断点后在刚才的地方关掉停用JavaScript,刷新界面,发现断