爬虫进阶——Python如何实现定时爬虫

前言

工作中可能会突然有这样的一个需求，需要让爬虫任务定时去执行，定时获取数据信息。那要怎么做呢？
废话不多说，跟着小编直接进入主题。下面是针对定时爬虫将获取的数据自动存入mysql中，方法如下

1. 结合python的定时框架APScheduler

参考代码如下：

from apscheduler.schedulers.background import BackgroundScheduler, BlockingScheduler
import requests
import random
import re
from lxml import etree
import pymysql

scheduler = BlockingScheduler(