文章来源于公众号:爬虫逆向与数据分析
相信有翻墙经验的小伙伴,在墙外自由冲浪的时候, 总会碰到类似于这样的页面:
对于这种页面呢, 我们直接用requests对目标网站发起请求,会发现无法获取到我们想要的内容。这到底是怎么一回事呢?哈哈, 不懂问度娘啊!!经过我的一番搜索:
此处来自度娘
大致来说呢, 这个东西就是用来防止ddos攻击的(没想到连爬虫也一起给处理了)。好了, 既然清楚了这是个什么东东, 接下来我们的任务就是要攻破他了。
首先我们打开chrome浏览器, 访问这个页面(为了避免不必要的麻烦, 网站url就不展示了)。这时我们会看到这样的内容:
等待大概5秒钟左右吧,我们就会直接进入这个页面的首页了。此时我们打开chrome浏览器的调试页面(快捷键F12),并点击到network下面,会显示这样一个页面: