网络爬虫最终方案：chrome插件

最近因为已经提离职了所以比较空，这里分享一下我的一个针对js反爬的最终方案。

爬虫的核心：
爬虫的核心就是模拟正常用户访问。最低级的反爬虫会检测一些诸如referer，cookie之类的use-agent字段，这种只需要用curl命令一个个删除参数就能知道它所需要的最少的字段信息是哪些了。

然后是再高级点，弄出一些很麻烦的js脚本，比如cloudfront以前的5s跳转脚本，这种如果能运行js脚本也能获取到目标参数。

然后是一些请求参数特别复杂的，比如fb的网页搜索，他的数据是用过异步请求过来的，不在源码里，而这个异步请求的参数又麻烦到根本理不清，这种直接上selenium+chromedriver。

最后，最麻烦的是，是网站会检测chromedriver，早期可以修改一些chromedriver的参数搞定，但是道高一尺魔高一丈，后面修改chromedriver都搞不定了。

这种时候我建议的办法就是干脆脱离chromedriver，用真实浏览器操作。

而我设计的方案就是写一个chrome插件，然后后端脚本，如python通过一个socket与这个chrome插件进行通信，通过python来执行js代码控制页面操作(其实可以直接用js脚本，但我不熟，所以绕了一圈)

这个插件我找前端的兄弟一起合作开发出来了，不过在那之后我就基本不做爬虫了。。。。所以这个方案仅供参考。

我觉得写爬虫只是把人工的操作自动化了，人工能浏览的数据应该就允许爬取，不过说到底写爬虫还是有挺多顾虑的，因为国内这方面很不明确，所以最多自己有需求的时候写一写，或者拿来做数据分析用。拿数据赚钱就有风险了。。唉。就这样吧