本人最近用python开发着爬虫相关的项目,在上个月就已经把爬虫的相关代码写得差不多了,因为春节,项目停滞了十多天。最近,当我再次运行之前的爬虫项目的时候,What?怎么不行了??本来好好的,报了521错误。我只是一个爬虫菜鸟,还是第一次接触到这个错误。然后我就去百度了。百度一圈后,发现这是一个js设置cookie的反爬方式。于是乎我将521返回的内容写到了txt文件里,显示出来是这样的结果。
太乱了,这样子啥也看不出来呀。后来突然想到,这就是js代码呀,写到html文件里再排版不就行了吗。这里说一下我用的编辑器是pycharm,打开了html代码后,使用快捷键'crtl+alt+l'一键排版,就好看多了。
随后,我百度到,把这一串代码的js部分复制到Console中,将eval改成console.log运行。