python爬虫定时增量爬取数据

解决要点：
1.定时更新
2.增量爬取
以上两个技术关键点均可基于scrapy开源爬虫框架扩充解决

解决
1.定时爬取
在linux下使用crontab来执行scrapy定时爬取的需求。
Crontab命令是Unix系统和类Unix系统中，用来设置周期性执行的指令。该命令从标准输入设备读取指令，并将其存放在“Crontab”文件中，以供后期读取和执行。Crontab所存的指令，被守护进程激活。crond常常在后台运行，以一分钟为间隔检查是否有预定的作业需要执行，这类作业一般成为cron jobs。

2.增量爬取
利用已爬取数据的URL或者页面内容来建立数据指纹，作为key存入Redis数据库中的集合，每次爬虫要处理URL或者页面时会先去Redis数据库里检查一下是否已经存在，从而决定爬取内容。
Redis优势：

1. Redis数据库基于key-value形式的存储，检索速度非常快；
2. Redis将内存中的内容持久化到磁盘，保证了爬虫的可靠性。