爬虫会话（cookie）的保持

为什么需要保持爬虫会话

最近在做某平台的爬虫应用，整体的业务流程比较简单，就是用户授权帐号密码后，爬虫进行登录，抓取用户数据提供比官网管理后台体验更好的功能服务。

该项目爬虫抓取数据的方式有别于通常的做法。通常的方式是爬虫授权后，一次性的爬取需要的数据后就结束生命周期。但本次的爬虫，需要在授权登陆后，进入类似休眠的状态，当用户需要使用某个功能时，应用再去唤醒它进行数据爬取。这就需要爬虫保持其会话（cookies信息）

如何保持

授权登陆后，将cookie信息json化后，持久化到数据库。当需要爬虫再次工作时，从数据库中读取cookie json数据转化为对象。　　

表结构

转载于:https://www.cnblogs.com/xi0510/p/9289261.html