一、背景
1、目的: 爬取【某车之家】全部车型数据,用于车贷业务系统的车型选项。
2、结果:
(1)数据内容:共43401条数据,包括【某车之家】全部在售(即将销售)及停售车型;
(2)数据结构
二、说明
1、通过requests&BeautifulSoup爬取成功,但耗时较长(约3.5小时),且中途有断掉
2、Scrapy框架爬取不成功,待解决;【请大神们帮助解决】
三、成果(含代码)
1、网页结构
2、爬取思路
3、代码【贡献已有成果】
备注:代码中的url有关键字用XXX代替
import requests
from bs4 import BeautifulSoup
import json
import re
import openpyxl
class Cars():
#【初始函数:获取目录树】:目录树包含了【品牌-厂商-车系-车型】的多层结构
def __init__(self):
self.headers={'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'}
url_tree='https://car.XXX.com.cn/javascript/NewSpecCompare.js?20131010'
rs_tree=requests.get(url_tree,headers=self.headers)
rs_tree.encoding='gbk'
content=rs_tree.text
self.menu=content.replace('var listCompare$100= ', '').replace(';', '')
self.JS=json.loads(self.menu)
print(self.menu)
#运行结果:(非完整)
#[{"I":279,"N":"领克","L":"L","List":[{"I":463,"N":"领克","List":[{"I":4221,"N":"领克01"},{"I":4840,"N":"领克01新能源"},{"I":4616,"N":"领克02"},{"I":5014,"N":"领克02新能源"},{"I":4402,"N":"领克03"},{"I":5113,"N":"领克03新能源"},{"I":5194,"N":"领克05"},{"I":5555,"N":"领克06"},{"I":5557,"N":"领克06新能源"}]}]}]
#【主函数:遍历目录树】
def Main(self):
for i in self.JS:
self.bid=i['I']
self.Brand=i['N']
self.Brand_id='b'+str(self.bid)
for a in i['List']:
self.aid=a['I']
self.Auto=a['N']
self.Auto_id='fct_'+str(self.aid)
for b in a['List']:
self.sid=b['I']
self.Series=b['N']
self.Series_id='series_'+str(self.sid)
self.tid='1'
self.cid='110100'
self.SSeries() #车系函数
self.Price() #车型函数-价格
self.Model_sale() #车型函数-在售
self.Model_pre_sale() #车型函数-即将销售
self.Model_halt() #车型函数-停售
self.Result() #结果函数-合并及存储
#【车系函数:提取品牌、厂商、车系】
def SSeries(self):
self.brand_list=[]
self.brand_list.append(str(self.Brand_id))
self.brand_list.append(self.Brand)
self.brand_list.append(str(self.Auto_id))
self.brand_list.append(self.Auto)
self.brand_list.append(str(self.Series_id))
self.brand_list.append(self.Series)
print('【品牌厂商车系】-------------------------------------------------------------------')
print(self.brand_list)
#运行结果:['b279', '领克', 'fct_463', '领克', 'series_4221', '领克01']
#【车型函数C:单独提取在售车型销售价】
def Price(self):
real_url_4='https://carif.api.XXX.com.cn/dealer/LoadDealerPrice.ashx?'
params4={
'_callback': 'LoadDealerPrice',
'type': self.tid,
'seriesid': str(self.sid),
'city': self.cid
}
rs4=requests.get(real_url_4,headers=self.headers,params=params4)
rs4.encoding='gbk'
js=json.loads(re.match(".*?({.*}).*",rs4.text,re.S).group(1))
self.price_dic={}
prices=js['body']['item']
for price in prices:
K=str(price['SpecId'])
V=round(price['Price']/10000,2)
Value_price=str(V)+'万元'
self.price_dic[K]=Value_price
print('【销售价】----------')
print(self.price_dic)
#运行结果:(非完整)
#{'38980': '16.88万元', '38982': '19.18万元', '38977': '14.98万元', '38981': '17.28万元', '43004': '17.58万元', '46007': '15.18万元', '48423': '19.98万元', '48975': '17.98万元', '38978': '15.88万元', '48424': '20.18万元', '48976': '18.38万元', '38976': '14.38万元'}
#【车型函数A:提取在售车型信息】
def Model_sale(self):
real_url_2='https://car.XXX.com.cn/price/series-'+str(self.sid)+'.html'
rs2=requests.get(real_url_2,headers=self.headers)
print('///在售码///'+str(rs2.status_code))
rs2.encoding='gbk'
bs2=BeautifulSoup(rs2.text,'html.parser')
S=bs2.find('div',class_='tab-nav border-t-no').find_all('li')[0]['class']
if S[0] != 'disabled':
self.car_list_2=[]
sale_status='在售'
A=bs2.find('div',id='divSeries')
lines=A.find_all('li') #车型列表
for line in lines:
list_temp=[]
Model_id=line.find('div',class_='interval01-list-cars').find('p')['id'] #车型编号
list_temp.append(Model_id)
Model=line.find('div',class_='interval01-list-cars').find('p').find('a').text #车型
list_temp.append(Model)
Configuration=line.find('div',class_='interval01-list-cars').find_all('p')[2].text #配置
list_temp.append(Configuration)
Guid_price=line.find('div',class_='interval01-list-guidance').find('div').text #指导价
list_temp.append(Guid_price)
if self.price_dic:
key_li=[]
for key in self.price_dic:
key_li.append(key)
if Model_id[1:] in key_li:
for keyy in self.price_dic:
if keyy==Model_id[1:]:
Sale_price=self.price_dic[keyy]
else:
continue
else:
Sale_price='暂无报价'
else:
Sale_price='暂无报价'
list_temp.append(Sale_price)
list_temp.append(sale_status)
self.car_list_2.append(list_temp)
print('【在售车型】---------------------------------------------------------------')
print(self.car_list_2)
else:
self.car_list_2=[]
print('【在售车型】--------------------------------------------------------------')
print(self.car_list_2)
#运行结果:(非完整)
#[['p48975', '2021款 2.0TD 两驱型Pro', '前置前驱8挡手自一体', ' 17.98万', '17.98万元', '在售'], ['p48976', '2021款 2.0TD 两驱耀Pro', '前置前驱8挡手自一体', ' 18.38万', '18.38万元', '在售'], ['p48423', '2021款 2.0TD 四驱劲Halo', '前置四驱8挡手自一体', ' 19.98万', '19.98万元', '在售']]
#【车型函数D:提取即将销售车型信息】
def Model_pre_sale(self):
real_url_5='https://car.XXX.com.cn/price/series-'+str(self.sid)+'-0-2-0-0-0-0-1.html'
rs5=requests.get(real_url_5,headers=self.headers)
print('///即将销售码'+str(rs5.status_code))
rs5.encoding='gbk'
bs5=BeautifulSoup(rs5.text,'html.parser')
self.car_list_5=[]
Pre_sale_status='即将销售'
A=bs5.find('div',id='divSeries')
lines=A.find_all('li') #车型列表
for line in lines:
list_temp=[]
Model_id=line.find('div',class_='interval01-list-cars').find('p')['id'] #车型编号
list_temp.append(Model_id)
Model=line.find('div',class_='interval01-list-cars').find('p').find('a').text #车型
list_temp.append(Model)
Configuration=line.find('div',class_='interval01-list-cars').find_all('p')[2].text #配置
list_temp.append(Configuration)
Guid_price=line.find('div',class_='interval01-list-guidance').find('div').text #指导价
list_temp.append(Guid_price)
if self.price_dic:
key_li=[]
for key in self.price_dic:
key_li.append(key)
if Model_id[1:] in key_li:
for keyy in self.price_dic:
if keyy==Model_id[1:]:
Pre_sale_price=self.price_dic[keyy]
else:
continue
else:
Pre_sale_price='暂无报价'
else:
Pre_sale_price='暂无报价'
list_temp.append(Pre_sale_price)
list_temp.append(Pre_sale_status)
self.car_list_5.append(list_temp)
print('【即将销售车型】--------------------------------------------------------------------')
print(self.car_list_5)
#运行结果:与Model_sale结构相同
#【车型函数B:提取停售车型信息】
def Model_halt(self):
self.car_list_3=[]
real_url_3='https://car.XXX.com.cn/price/series-'+str(self.sid)+'-0-3-0-0-0-0-1.html'
rs3=requests.get(real_url_3,headers=self.headers)
print('///停售码'+str(rs3.status_code))
rs3.encoding='gbk'
bs3=BeautifulSoup(rs3.text,'html.parser')
J=bs3.find('div',class_='price-page02')
if J is None:
L=2
else:
L=17
for z in range(1,L):
real_url_3_2='https://car.XXX.com.cn/price/series-'+str(self.sid)+'-0-3-0-0-0-0-'+str(z)+'.html'
rs3_2=requests.get(real_url_3_2,headers=self.headers)
rs3_2.encoding='gbk'
bs3_2=BeautifulSoup(rs3_2.text,'html.parser')
sale_status='停售'
A=bs3_2.find('div',id='divSeries')
lines=A.find_all('li') #车型列表
for line in lines:
list_temp=[]
Model_id=line.find('div',class_='interval01-list-cars').find('p')['id'] #车型编号
list_temp.append(Model_id)
Model=line.find('div',class_='interval01-list-cars').find('p').find('a').text #车型
list_temp.append(Model)
Configuration=line.find('div',class_='interval01-list-cars').find_all('p')[2].text #配置
list_temp.append(Configuration)
Guid_price=line.find('div',class_='interval01-list-guidance').find('div').text #指导价
list_temp.append(Guid_price)
Sale_price='待链接'
list_temp.append(Sale_price)
list_temp.append(sale_status)
self.car_list_3.append(list_temp)
print('【停售车型】------------------------------------------------------------------')
print(self.car_list_3)
#运行结果:(非完整)
#[['p38840', '2019款 2.0T 两驱纯Lite版 国V', '前置前驱6挡手自一体', ' 15.08万 ', '待链接', '停售'], ['p38841', '2019款 2.0T 两驱纯版 国V', '前置前驱6挡手自一体', ' 15.68万 ', '待链接', '停售'], ['p38842', '2019款 2.0T 两驱型版 国V', '前置前驱6挡手自一体', ' 16.58万 ', '待链接', '停售'], ['p38843', '2019款 2.0T 两驱型Pro版 国V', '前置前驱6挡手自一体', ' 17.58万 ', '待链接', '停售']]
#【结果函数:数据整理】
def Result(self):
car_list=self.car_list_2+self.car_list_5+self.car_list_3
lists=[]
for m in car_list:
n=self.brand_list+m
lists.append(n)
print('【车系列表——存储】')
print(lists)
web=openpyxl.load_workbook(r'D:\Python\Test_file\cars3.xlsx')
sheetnames=web.get_sheet_names()
sheet=web.get_sheet_by_name(sheetnames[0])
sheet=web.active
nrows=sheet.max_row
for i in range(1, len(lists)+1):
for j in range(1, len(lists[i-1])+1):
sheet.cell(nrows+i, j).value=lists[i-1][j-1]
web.save(r'D:\Python\Test_file\cars3.xlsx')
#运行结果:(非完整)
#[['b279', '领克', 'fct_463', '领克', 'series_5113', '领克03新能源', 'p47091', '2021款 1.5T PHEV', '电动前置前驱7挡双离合', ' 17.67万', '17.67万元', '在售'], ['b279', '领克', 'fct_463', '领克', 'series_5113', '领克03新能源', 'p47092', '2021款 1.5T PHEV Pro', '电动前置前驱7挡双离合', ' 19.67万', '19.67万元', '在售'], ['b279', '领克', 'fct_463', '领克', 'series_5113', '领克03新能源', 'p46416', '2020款 1.5T PHEV Lite', '电动前置前驱7挡双离合', ' 16.87万 ', '待链接', '停售']]
DO=Cars()
DO.Main()
四、问题
问题(一):由于存在以下两种情况,不知道如何设置Scrapy下从[start urls]开始的队列:
(1)、类下的函数存在业务逻辑上的【包含关系】:即“品牌–对应–多个厂商–再对应–多个车系–再对应–多个车型–再对应–多个销售状态‘’。(Scrapy的多url队列为平行执行,如果将车系函数def SSeries(self)、车型函数def Model_sale(self)/def Model_pre_sale(self)/def Model_halt(self)设置为url队列则会失去业务上需要的逻辑对应关系)
(2) 车型函数(def Model_sale(self) & def Model_pre_sale)需引用价格函数(def Price(self))的输出结果。
问题(二):爬取的结果数据为列表格式:[[‘b279’, ‘领克’, ‘fct_463’, ‘领克’, ‘series_5113’, ‘领克03新能源’, ‘p47091’, ‘2021款 1.5T PHEV’, ‘电动前置前驱7挡双离合’, ’ 17.67万’, ‘17.67万元’, ‘在售’], [‘b279’, ‘领克’, ‘fct_463’, ‘领克’, ‘series_5113’, ‘领克03新能源’, ‘p47092’, ‘2021款 1.5T PHEV Pro’, ‘电动前置前驱7挡双离合’, ’ 19.67万’, ‘19.67万元’, ‘在售’]],如何通过item传输到pipline中?
请大神们不吝赐教啊!!!