weixin_75226988的博客

原创 关于严格反爬的网站爬取策略分享

对于该网站的爬取，我一开始打算做js逆向，该网站使用的是xsrf加密保护，虽然可以通过登录后端token实现短期自动发请求，但是程序员是什么群体，我们最懒了好吧：）,想着看能不能用python去构造一个，试了两天，发现总是mismatch，真给我搞破防了，直接selenium+xpath大法，管你有的没的跟我的机器网瘾人类说去吧。在工作中挖掘数据的时候常常会遇到一些网站很严格的加密了请求，这时候通用的做法是逆向js解密，但这种方法费时费眼不说，大部分时候还解密不出来。