本文展示了如何使用Python爬取懂车帝网站的汽车详细信息，包括汽车型号、指导价、经销商报价和车主参考价，并将数据存储到MySQL数据库。在爬取过程中，遇到价格字段缺失导致的错误，以及数据库字符集问题，最终通过添加None填充和调整数据库配置解决问题。
需要爬取的内容：汽车具体型号，指导价，经销商报价，车主参考价
import requests
import pymysql
# 车型库
def Dongchedi(offset):
url = 'https://www.dongchedi.com/motor/brand/m/v6/select/series/?city_name=%E6%AD%A6%E6%B1%89'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'}
data = {
'offset': '{}'.format(offset),
'limit': 30,
'is_refresh': 1,
'city_name': '武汉'
}
response = requests.post(url,
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
