python爬虫爬拼多多销量_Python爬取各大汽车销量信息

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

滑稽研究所 | 作者

滑稽研究所 | 来源

我们可以看到这个网页上面有我们想要的信息，有汽车的品牌名以及上半年的销量总和。通过对比几个比较有名的车评网，该网站的数据是真实可靠的。

可以看到这个页面的数据都是存放在许多div标签里的。属于同级关系。为什么这个页面的数据看起来如此简洁？之前我们爬取豆瓣影评信息时，页面会有图片和超链接，这些信息都需要用单独的标签与文字区分出来。而我们本次只需要爬取文字内容，所以标签看着十分的简洁。

整块儿的内容都是在一个大的div标签下，各个车辆的品牌及销量又在下一级的div标签中。我们用遍历的方法来提取每个div标签里的内容。

代码：

import scrapy

import plotly as py

import plotly.graph_objs as go

pyplt = py.offline.plot

class CarSpider(scrapy.Spider):

name = 'car'

start_urls = ['http://www.515fa.com/xldp/dp_22926.html']

def parse(self, response):

#print(response.body)

for div in response.xpath('//div[@class="wen1"]/div[@class="w_con"]'):

name = div.xpath('//div[@class