用Jupyter—Notebook爬取网页数据实例9

HongMeng07 2020-12-01 00:32:38

226

分类专栏：学习实例文章标签： python 大数据

最后发布:2020-12-01 00:32:38首次发布:2020-12-01 00:32:38

本文链接：https://blog.csdn.net/HongMeng07/article/details/110412908

版权

用selenium库爬取瓜子二手车出售信息

懂的，直接上代码

#引入selenium、 pandas、openpyxl库
from selenium import webdriver
import pandas as pd
import openpyxl
#定义存储变量
cx=[]
gls=[]
jg=[]
#获取网页源代码
for i in range(5):
    url='https://www.guazi.com/sh/benz/'+str(i)+'#bread'
    browser = webdriver.Chrome()
    browser.get(url)
#解析源代码，提取所需数据信息     
    for i in browser.find_elements_by_class_name('car-a'):
        cx.append(i.find_elements_by_class_name('t')[0].text)
        gls.append(i.find_elements_by_class_name('t-i')[0].text)
        jg.append(i.find_elements_by_class_name('t-price')[0].text)
pd.DataFrame({'车型':cx,'公里数':gls,'价格':jg})
data=pd.DataFrame({'车型':cx,'公里数':gls,'价格':jg})
writer=pd.ExcelWriter('guazi.xlsx')
data.to_excel(writer,'爬虫数据')
writer.save()