爬虫与反爬

 

0x01 成本对抗vs态势转换

        有人说反爬的核心是成本对抗，通过分析爬虫的进攻路径，在每个环节增加爬虫的成本。这个对也不对，成本是相对的，针对土豪对手，成本不是问题。终局仍然是攻防态势转换。是算法+安全结合的领域。

0x02 爬虫的一般进攻路径

1、逆向分析（人工）

        包括web端分析，移动端分析，爬虫工程师通过前端寻找对应的请求接口或者通过流量监听的方式找到需要用的接口。有时候需要去破解签名逻辑。就需要对代码进行分析，而代码也是加密的，需要逆向去获得内部的签名逻辑。

        签名的逻辑包括对账号，设备，端上采集数据进行加密后随着请求带上来，在服务端对这些进行校验。如果你没破解对应的逻辑，很容易在这一层被拦截掉。

        由于这部分工作主要是人工进行，所有很多反爬的方案都是在这一步进行不断加固，不断攻防，主要就是不断更新加密的逻辑，导致攻防两方疲于奔命。

2、接口测试

        逆向分析完毕后，需要进行接口的测试，走通整个逻辑。调用接口的时候一般会需要对应的资源，资源包括手机号，账号，设备号等等，同时在测试的时候你会碰到服务端的挑战，比如手机短信验证码，比如滑动验证码等。就像过五关斩六将一样，需