用Python3 + bs4 + request + mysql 抓取并存储新发地菜价数据

为了让大家去菜市场砍价的时候，心里更有底，我写了一个小程序，抓取新发地官网公布的农副产品价格，并存入数据库，仅供研究。

简单说一下思路吧：

1. 从新发地官网找到数据展示的规律，发现不同的类别和页数，是通过两个接口参数控制的，因此将URL模板设计成动态的，带有两个动态参数。
2. 例行获取页面的bs4实体，通过div标签和class属性，找到要获取的数据列表。
3. 把数据过滤好，存入列表。第一行固定是标题，后面是数据。
4. 把数据存入数据库。建表过程这里就省略了。
5. 因为考虑到网站的数据量很庞大，我们也没有必要抓取全部，因此考虑增加一个起始时间，只抓取这个时间以后的数据。
6. Round one, fight！

from bs4 import BeautifulSoup
import requests
import pymysql

HEADER = {
   
    "User-Agent": "Mozilla/5.0 (Linux; Android 9; DUK-AL20) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.119 Mobile Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7",
}

# URL模板，需要动态调整的主要是类别和页数两个字段
BASE_URL = 'http://www.xinfadi.com.cn/marketanalysis/{}/list/{}.shtml'

START_DATE = '2020-03-10'  # 起始时间，包括当前时间

CATAGORY = [{
   'name': '', 'id': '1'},  # 蔬菜
            {
   'name': '