Python爬取‘某车之家’车型数据：成果（requests&BeautifulSoup，含代码）及问题（Scrapy）

最新推荐文章于 2021-12-06 10:07:29 发布
最新推荐文章于 2021-12-06 10:07:29 发布
阅读量1.3k 收藏 12
点赞数 3
文章标签： python 爬虫 request 数据分析 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45521988/article/details/111088168
版权

一、背景
1、目的： 爬取【某车之家】全部车型数据，用于车贷业务系统的车型选项。
2、结果：
（1）数据内容：共43401条数据，包括【某车之家】全部在售（即将销售）及停售车型；
在这里插入图片描述
（2）数据结构
在这里插入图片描述

二、说明
1、通过requests&BeautifulSoup爬取成功，但耗时较长（约3.5小时），且中途有断掉
2、Scrapy框架爬取不成功，待解决；【请大神们帮助解决】

三、成果（含代码）
1、网页结构
在这里插入图片描述
2、爬取思路
在这里插入图片描述

3、代码【贡献已有成果】
备注：代码中的url有关键字用XXX代替

import requests
from bs4 import BeautifulSoup
import json
import re
import openpyxl

class Cars():
    #【初始函数：获取目录树】：目录树包含了【品牌-厂商-车系-车型】的多层结构
    def __init__(self):
        self.headers={'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'}
        url_tree='https://car.XXX.com.cn/javascript/NewSpecCompare.js?20131010'
        rs_tree=requests.get(url_tree,headers=self.headers)
        rs_tree.encoding='gbk'
        content=rs_tree.text
        self.menu=content.replace('var listCompare$100= ', '').replace(';', '')       
        self.JS=json.loads(self.menu)
        print(self.menu)
    #运行结果：(非完整)
    #[{"I":279,"N":"领克","L":"L","List":[{"I":463,"N":"领克","List":[{"I":4221,"N":"领克01"},{"I":4840,"N":"领克01新能源"},{"I":4616,"N":"领克02"},{"I":5014,"N":"领克02新能源"},{"I":4402,"N":"领克03"},{"I":5113,"N":"领克03新能源"},{"I":5194,"N":"领克05"},{"I":5555,"N":"领克06"},{"I":5557,"N":"领克06新能源"}]}]}]
   
     
    #【主函数：遍历目录树】
    def Main(self):
        for i in self.JS:
            self.bid=i['I']
            self.Brand=i['N']
            self.Brand_id='b'+str(self.bid)
            for a in i['List']:
                self.aid=a['I']
                self.Auto=a['N']
                self.Auto_id='fct_'+str(self.aid)
                for b in a['List']:
                    self.sid=b['I']
                    self.Series=b['N']
                    self.Series_id='series_'+str(self.sid)
                    self.tid='1'
                    self.cid='110100' 
                    self.SSeries() #车系函数
                    self.Price() #车型函数-价格
                    self.Model_sale() #车型函数-在售
                    self.Model_pre_sale() #车型函数-即将销售
                    self.Model_halt() #车型函数-停售
                    self.Result() #结果函数-合并及存储
    
    
    #【车系函数：提取品牌、厂商、车系】
    def SSeries(self):       
        self.brand_list=[]
        self.brand_list.append(str(self.Brand_id))
        self.brand_list.append(self.Brand)
        self.brand_list.append(str(self.Auto_id))
        self.brand_list.append(self.Auto)
        self.brand_list.append(str(self.Series_id))
        self.brand_list.append(self.Series)
        print('【品牌厂商车系】-------------------------------------------------------------------')
        print(self.brand_list)
    #运行结果：['b279', '领克', 'fct_463', '领克', 'series_4221', '领克01']
    
    
    #【车型函数C：单独提取在售车型销售价】                
    def Price(self):
        real_url_4='https://carif.api.XXX.com.cn/dealer/LoadDealerPrice.ashx?'
        params4={
        '_callback': 'LoadDealerPrice',
        'type': self.tid,
        'seriesid': str(self.sid),
        'city': self.cid 
        }
        rs4=requests.get(real_url_4,headers=self.headers,params=params4)
        rs4.encoding='gbk'
        js=json.loads(re.match(".*?({.*}).*",rs4.text,re.S).group(1))
        self.price_dic={}
        prices=js['body']['item']
        for price in prices:
            K=str(price['SpecId'])
            V=round(price['Price']/10000,2)
            Value_price=str(V)+'万元'
            self.price_dic[K]=Value_price
        print('【销售价】----------')
        print(self.price_dic)
    #运行结果：(非完整)
    #{'38980': '16.88万元', '38982': '19.18万元', '38977': '14.98万元', '38981': '17.28万元', '43004': '17.58万元', '46007': '15.18万元', '48423': '19.98万元', '48975': '17.98万元', '38978': '15.88万元', '48424': '20.18万元', '48976': '18.38万元', '38976': '14.38万元'}
    
    
    #【车型函数A：提取在售车型信息】
    def Model_sale(self):
        real_url_2='https://car.XXX.com.cn/price/series-'+str(self.sid)+'.html'
        rs2=requests.get(real_url_2,headers=self.headers)
        print('///在售码///'+str(rs2.status_code))
        rs2.encoding='gbk'
        bs2=BeautifulSoup(rs2.text,'html.parser')
        S=bs2.find('div',class_='tab-nav border-t-no').find_all('li')[0]['class']
        if S[0] != 'disabled':
            self.car_list_2=[]
            sale_status='在售'
            A=bs2.find('div',id='divSeries') 
            lines=A.find_all('li') #车型列表
            for line in lines:
                list_temp=[]
                Model_id=line.find('div',class_='interval01-list-cars').find('p')['id'] #车型编号
                list_temp.append(Model_id)
                Model=line.find('div',class_='interval01-list-cars').find('p').find('a').text #车型
                list_temp.append(Model)
                Configuration=line.find('div',class_='interval01-list-cars').find_all('p')[2].text #配置
                list_temp.append(Configuration)
                Guid_price=line.find('div',class_='interval01-list-guidance').find('div').text #指导价
                list_temp.append(Guid_price)
                if self.price_dic: 
                    key_li=[]
                    for key in self.price_dic:
                        key_li.append(key)
                    if Model_id[1:] in key_li:
                        for keyy in self.price_dic:
                            if keyy==Model_id[1:]:
                                Sale_price=self.price_dic[keyy]
                            else:
                                continue
                    else:
                        Sale_price='暂无报价'
                else:
                    Sale_price='暂无报价'
                list_temp.append(Sale_price)
                list_temp.append(sale_status)
                self.car_list_2.append(list_temp)
            print('【在售车型】---------------------------------------------------------------')
            print(self.car_list_2)
        else:
            self.car_list_2=[]
            print('【在售车型】--------------------------------------------------------------')
            print(self.car_list_2)
    #运行结果：(非完整)
    #[['p48975', '2021款 2.0TD 两驱型Pro', '前置前驱8挡手自一体', ' 17.98万', '17.98万元', '在售'], ['p48976', '2021款 2.0TD 两驱耀Pro', '前置前驱8挡手自一体', ' 18.38万', '18.38万元', '在售'], ['p48423', '2021款 2.0TD 四驱劲Halo', '前置四驱8挡手自一体', ' 19.98万', '19.98万元', '在售']]
    
    
    #【车型函数D：提取即将销售车型信息】
    def Model_pre_sale(self):
        real_url_5='https://car.XXX.com.cn/price/series-'+str(self.sid)+'-0-2-0-0-0-0-1.html'
        rs5=requests.get(real_url_5,headers=self.headers)
        print('///即将销售码'+str(rs5.status_code))
        rs5.encoding='gbk'
        bs5=BeautifulSoup(rs5.text,'html.parser')
        self.car_list_5=[]
        Pre_sale_status='即将销售'
        A=bs5.find('div',id='divSeries') 
        lines=A.find_all('li') #车型列表
        for line in lines:
            list_temp=[]
            Model_id=line.find('div',class_='interval01-list-cars').find('p')['id'] #车型编号
            list_temp.append(Model_id)
            Model=line.find('div',class_='interval01-list-cars').find('p').find('a').text #车型
            list_temp.append(Model)
            Configuration=line.find('div',class_='interval01-list-cars').find_all('p')[2].text #配置
            list_temp.append(Configuration)
            Guid_price=line.find('div',class_='interval01-list-guidance').find('div').text #指导价
            list_temp.append(Guid_price)
            if self.price_dic:
                key_li=[]
                for key in self.price_dic:
                    key_li.append(key)
                if Model_id[1:] in key_li:
                    for keyy in self.price_dic:
                        if keyy==Model_id[1:]:
                            Pre_sale_price=self.price_dic[keyy]
                        else:
                            continue
                else:
                    Pre_sale_price='暂无报价'
            else:
                Pre_sale_price='暂无报价'
            list_temp.append(Pre_sale_price)
            list_temp.append(Pre_sale_status)
            self.car_list_5.append(list_temp)
        print('【即将销售车型】--------------------------------------------------------------------')
        print(self.car_list_5)
    #运行结果：与Model_sale结构相同   
   
     
    #【车型函数B：提取停售车型信息】
    def Model_halt(self):
        self.car_list_3=[]
        real_url_3='https://car.XXX.com.cn/price/series-'+str(self.sid)+'-0-3-0-0-0-0-1.html'
        rs3=requests.get(real_url_3,headers=self.headers)
        print('///停售码'+str(rs3.status_code))
        rs3.encoding='gbk'
        bs3=BeautifulSoup(rs3.text,'html.parser')
        J=bs3.find('div',class_='price-page02')
        if J is None:
            L=2
        else:
            L=17
        for z in range(1,L):
            real_url_3_2='https://car.XXX.com.cn/price/series-'+str(self.sid)+'-0-3-0-0-0-0-'+str(z)+'.html'
            rs3_2=requests.get(real_url_3_2,headers=self.headers)
            rs3_2.encoding='gbk'
            bs3_2=BeautifulSoup(rs3_2.text,'html.parser')
            sale_status='停售'
            A=bs3_2.find('div',id='divSeries')
            lines=A.find_all('li') #车型列表
            for line in lines:
                list_temp=[]
                Model_id=line.find('div',class_='interval01-list-cars').find('p')['id'] #车型编号
                list_temp.append(Model_id)
                Model=line.find('div',class_='interval01-list-cars').find('p').find('a').text #车型
                list_temp.append(Model)
                Configuration=line.find('div',class_='interval01-list-cars').find_all('p')[2].text #配置
                list_temp.append(Configuration)
                Guid_price=line.find('div',class_='interval01-list-guidance').find('div').text #指导价
                list_temp.append(Guid_price)
                Sale_price='待链接'
                list_temp.append(Sale_price)
                list_temp.append(sale_status)
                self.car_list_3.append(list_temp)
        print('【停售车型】------------------------------------------------------------------')
        print(self.car_list_3)
     #运行结果：(非完整)
     #[['p38840', '2019款 2.0T 两驱纯Lite版 国V', '前置前驱6挡手自一体', ' 15.08万 ', '待链接', '停售'], ['p38841', '2019款 2.0T 两驱纯版 国V', '前置前驱6挡手自一体', ' 15.68万 ', '待链接', '停售'], ['p38842', '2019款 2.0T 两驱型版 国V', '前置前驱6挡手自一体', ' 16.58万 ', '待链接', '停售'], ['p38843', '2019款 2.0T 两驱型Pro版 国V', '前置前驱6挡手自一体', ' 17.58万 ', '待链接', '停售']]
    
    
    #【结果函数：数据整理】    
    def Result(self):
        car_list=self.car_list_2+self.car_list_5+self.car_list_3
        lists=[]
        for m in car_list:
            n=self.brand_list+m
            lists.append(n)
        print('【车系列表——存储】')
        print(lists) 
        web=openpyxl.load_workbook(r'D:\Python\Test_file\cars3.xlsx')
        sheetnames=web.get_sheet_names()
        sheet=web.get_sheet_by_name(sheetnames[0])
        sheet=web.active
        nrows=sheet.max_row
        for i in range(1, len(lists)+1):
            for j in range(1, len(lists[i-1])+1):
                sheet.cell(nrows+i, j).value=lists[i-1][j-1]
        web.save(r'D:\Python\Test_file\cars3.xlsx')
    #运行结果：(非完整)
    #[['b279', '领克', 'fct_463', '领克', 'series_5113', '领克03新能源', 'p47091', '2021款 1.5T PHEV', '电动前置前驱7挡双离合', ' 17.67万', '17.67万元', '在售'], ['b279', '领克', 'fct_463', '领克', 'series_5113', '领克03新能源', 'p47092', '2021款 1.5T PHEV Pro', '电动前置前驱7挡双离合', ' 19.67万', '19.67万元', '在售'], ['b279', '领克', 'fct_463', '领克', 'series_5113', '领克03新能源', 'p46416', '2020款 1.5T PHEV Lite', '电动前置前驱7挡双离合', ' 16.87万 ', '待链接', '停售']]
       
DO=Cars()
DO.Main()

四、问题
问题（一）：由于存在以下两种情况，不知道如何设置Scrapy下从[start urls]开始的队列：
（1）、类下的函数存在业务逻辑上的【包含关系】：即“品牌–对应–多个厂商–再对应–多个车系–再对应–多个车型–再对应–多个销售状态‘’。（Scrapy的多url队列为平行执行，如果将车系函数def SSeries(self)、车型函数def Model_sale(self)/def Model_pre_sale(self)/def Model_halt(self)设置为url队列则会失去业务上需要的逻辑对应关系）
在这里插入图片描述

（2） 车型函数（def Model_sale(self) & def Model_pre_sale）需引用价格函数（def Price(self)）的输出结果。
在这里插入图片描述
问题（二）：爬取的结果数据为列表格式：[[‘b279’, ‘领克’, ‘fct_463’, ‘领克’, ‘series_5113’, ‘领克03新能源’, ‘p47091’, ‘2021款 1.5T PHEV’, ‘电动前置前驱7挡双离合’, ’ 17.67万’, ‘17.67万元’, ‘在售’], [‘b279’, ‘领克’, ‘fct_463’, ‘领克’, ‘series_5113’, ‘领克03新能源’, ‘p47092’, ‘2021款 1.5T PHEV Pro’, ‘电动前置前驱7挡双离合’, ’ 19.67万’, ‘19.67万元’, ‘在售’]]，如何通过item传输到pipline中？

请大神们不吝赐教啊！！！

圆滚滚的猕猴桃
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫 汽车之家 车型销量--参数分析与实现
2201_76125393的博客
02-21 347
【代码】Python爬虫 汽车之家 车型销量--参数分析与实现。
汽车之家最新车型数据
02-25
汽车之家最新车型数据,2018.12月采集，带logo和车型图片，sql文件
python3 爬取汽车之家所有车型数据操作步骤（更新版）
weixin_30898109的博客
11-24 2201
题记: 　　互联网上关于使用python3去爬取汽车之家的汽车数据（主要是汽车基本参数，配置参数，颜色参数，内饰参数）的教程已经非常多了，但大体的方案分两种： 　　1.解析出汽车之家某个车型的网页，然后正则表达式匹配出混淆后的数据对象与混淆后的js，并对混淆后的js使用pyv8进行解析返回正常字符，然后通过字符与数据对象进行匹配，具体方法见这位园友，传送门：https://www.cnbl...
使用Java抓取解析汽车之家车型配置数据
u012235938的专栏
03-07 3422
因为公司业务需求，需要获取汽车之家的车型配置数据如下图：        由于汽车之家没做防爬策略，只是数据给混淆了，这里主要说解析数据。        通过保存页面，配置项的数据是通过JS动态生成的。在页面的第572行左右，有配置项的json格式数据        主要的配置数据是config和option，车身颜色color和内部颜色innerColor。一开始以为汽车之家的数据还挺好抓取，直接...
python爬虫re+requests+bs4爬取汽车之家全部过程，附代码。支持互联网免费至上，看了全部关于汽车之家的文章都是收费的，我很看不过去
qq_29393255的博客
12-06 7799
爬虫项目讲解 我做的是爬取汽车之家全部车型以及配置表的爬虫代码 我们要爬取的就是这个网站 https://www.autohome.com.cn 这边我已经爬取完毕，但是有一些错误，后续说 第一步先找到汽车之家全部的车型 通过刷新网络然后就可以找到了车型库的链接了 https://car.autohome.com.cn/AsLeftMenu/As_LeftListNew.ashx?typeId=2%20&brandId=0%20&fctId=0%20&s...
python爬取汽车之家数据_使用python抓取汽车之家车型数据
weixin_39552286的博客
12-16 583
import requestsimport pymysqlHOSTNAME = '127.0.0.1'USERNAME = 'root'PASSWORD = 'zyndev'DATABASE = 'zyndev_new'brand = 'http://www.autohome.com.cn/ashx/AjaxIndexCarFind.ashx?type=1'series = 'http://www...
python爬虫汽车之家全车型及基本参数入数据库（截止50524个数据）（详解）
热门推荐
weixin_49572581的博客
09-11 1万+
文章目录免责声明一、总体思路二、需要使用的库三、具体实施1.第一种方向(1)页面1:在售页面停售页面(2)页面2：2.第二种方向四.基本参数写入数据库五.总结 免责声明 本人新手小白，看到网上很多类似的文章，本着实践，交流学习目的，如侵，立删。 如文章被转载利用，出现一切后果与本人（笔者）无关。 一、总体思路 目的：汽车之家官网所有的车型以及他的基本参数这些，我们知道每个车的ID不一样，那我们找到所有的ID，在找到他们的基本参数那就不是问题了。 分析网站： 闲话少说：第一种方向：是按照品牌一级一级往下找，比
2018最新车型数据库(汽车之家)
03-23
汽车之家最新车型数据库，需要使用的小伙伴赶紧了！！！
汽车之家2017车型数据库
09-07
汽车之家2017车型数据 excel表格 可以导入数据库 汽车之家2017车型数据 excel表格 可以导入数据库 汽车之家2017车型数据 excel表格 可以导入数据库 汽车之家2017车型数据 excel表格 可以导入数据库
汽车之家车型数据mysql
11-09
汽车之前的车型MYSQL数据库，直接导入MYSQL中就行绝对真实有用
爬虫案例：汽车用户消费投诉数据爬取
Smart_J_King的博客
09-24 913
任务：爬取某公开网站上的汽车用户消费投诉数据（'http://tousu.315che.com/tousulist/serial/55467/'），字段包含品牌、投诉内容、品牌车型、单号、投诉问题、投诉时间和经销商，并为完成后续项目做准备。 （1）获取所有品牌名称、链接 （思路：首先向网页发送请求、解析网页，可利用xpath或者beautifulsoup中的find、find_all方法进行品牌名称、链接的提取。） #（1）获取所有品牌名称、链接 import requests from lxml
汽车之家最新车型数据2019
01-02
2019年汽车之家最新车型数据，包含车型分类，车型信息，指导价，mysql数据库脚本文件。如不完整联系我 很多朋友留言说数据不全，特意抽时间做了一份完整的车系车型价格 经销商 地址 电话 等等 全数据，需要的朋友联系
2019汽车之家车型、车系数据.zip
09-30
汽车之家最新车型数据2019 包含品牌、车系 图片、数据库
2018汽车之家汽车品牌车型数据新鲜出炉
06-07
项目需要，用python刚爬的汽车之家的汽车品牌、车型数据内含品牌logo以及车型图片。数据库带车型logo、数据库带车型logo、数据库
最新汽车之家车型数据以及抓取方法20180725_不要下载上一个
07-25
最新汽车之家车型数据以及抓取方法 包括原始的品牌数据和整理前的JSON数据 特别注意：原始数据中 不同层级编号可能是重复的，同一个层级不重复（估计汽车之家应该是各级别分别建表了） 所以我又整理了一份新的数据出来，编号不重复在一个表就可以表达 上一份车型数据我不能删除，不要下载了，需要的请下载这个吧
WechatSearchProjects:递归抓取微信搜索结果 使用Scrapy方法 或者 使用requests+BeautifulSoup
06-13
递归抓取微信搜索结果 使用Scrapy方法 或者 使用requests+BeautifulSoup 使用Scrapy方法： 将querystring替换为你要查询的单词 type可以选择 i的range范围可以调整，对应查询的搜索结果页面数目
基于python框架Scrapy爬取自己的博客内容过程详解
12-31
python中常用的写爬虫的库常有urllib2、requests,对于大多数比较简单的场景或者以学习为目的，可以用这两个库实现。这里有一篇我之前写过的用urllib2+BeautifulSoup做的一个抓取百度音乐热门歌曲的例子，有兴趣可以...
如何用Python + Requests + BeautifulSoup构建最强大的爬虫
03-30
如何用Python + Requests + BeautifulSoup构建最强大的爬虫 Scrapy框架入门指南：打造高效、可扩展的爬虫系统
用python爬取图片案例(详细).py
最新发布
11-06
我们将使用requests库来处理HTTP请求，BeautifulSoup库来解析HTML，以及Scrapy框架来爬取数据。通过这个详细的案例，你将学会如何定位和爬取网页上的图片，并将它们保存到你的本地目录中。 适用人群： 这份资源...
python爬取数据代码
10-10
Python爬取数据的代码可以使用第三方库如BeautifulSoup、Scrapy等来实现。下面是一个简单的示例代码： ```python import requests from bs4 import BeautifulSoup # 发送HTTP请求，获取网页内容 url = 'https://example.com' # 替换为目标网站的URL response = requests.get(url) content = response.text # 使用BeautifulSoup解析HTML soup = BeautifulSoup(content, 'html.parser') # 获取需要爬取的数据 data = soup.find('div', class_='data') # 根据实际情况选择合适的标签和属性 # 处理爬取到的数据 result = data.text.strip() # 清除多余的空格和换行符 # 输出结果 print(result) ``` 以上代码主要包括三个步骤： 1. 使用`requests`库发送HTTP请求，获取目标网站的HTML内容。 2. 使用`BeautifulSoup`库解析HTML内容，获取需要爬取的数据。 3. 对爬取到的数据进行处理，如清除多余的空格和换行符，并输出结果。 当然，实际的爬取过程通常会更为复杂，可能涉及到网站的登录、滚动加载、反爬机制等。对于这些情况，可能需要结合其他的库或技术来解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值