个人对爬虫框架的一些认知（四）

       上章讲解了代理方面的使用知识点，本章给大家讲下需要用到账号的站点如何处理？

       账号其实就是对应着一个Cookie字符串。有的站点不需要登录所谓的账号，但是在请求的时候Cookie设置那块也需要带上特定的值，这类型的站点我们也归到账号一类。我们为账号体系设置了一个标准的model如下截图，这里以mysql数据库为例：

账号model

       model的关键用处在于对账号状态的控制，我们把账号体系隔离出来，单独维护，爬虫拿取账号池可用的账号，同时定期反馈当前使用账号的状态，账号维护体系根据账号状态，及时调整账号体系，同时也大致记录统计下各种情况下该账号累计的次数，账号出现异常时也方便及时查找原因。

       站点登录这个好说，大部分都是可以直接通过http的方式登录上去的，把获取下来的cookie及账号密码等信息写到这个数据库表里面即可。不能直接http的就用模拟浏览器的方式解决，两者灵活结合起来90%以上的站点登录问题都阔以迎刃而解的。

       站点需要的账号量大怎么办呢？当然是找平台注册咯，有需求就会有市场的，怎么样都会有人在做这块的事情，只是相对隐蔽一些，毕竟是一些灰色产业，对于抓数据的团队来说，必要的安全措施还是要注意的，账号跟代理配合着用吧，避免不必要的麻烦。另外再说一点，用的打码平台、账号注册平台的账号消费尽量不要大量集中式消费，可以分散账号用哦，数据易抓取，风险需谨慎！

       说个题外话，最近有看到一个新闻是关于数据安全限制方面的，大家可以关注下，后续在获取数据时候注意下，数据千万条，安全第一条，违法又乱纪，亲人两行泪！

附上新闻链接：国家互联网信息办公室关于《数据安全管理办法（征求意见稿）》公开征求意见的通知

数据抓取量安全限制

有什么好的意见和建议可以给我留言，下节给大家讲下爬虫遇到非正常请求情况的时候如何处理。

下一章关于异常处理体系：个人对爬虫框架的一些认知（五）待定