初尝爬取58同城车辆信息

最新推荐文章于 2024-07-12 17:04:59 发布

亚李士多德

最新推荐文章于 2024-07-12 17:04:59 发布

阅读量732

点赞数 1

分类专栏：数据抓取文章标签：简易爬虫

本文链接：https://blog.csdn.net/yali_shiduode/article/details/89304950

版权

本文记录了作者作为Python初学者，通过编写简易爬虫获取58同城二手车数据的过程，以此获得学习成就感。

摘要由CSDN通过智能技术生成

爬取58同城二手车信息，小白学python最缺的就是成就感，那就从简易爬虫开始吧……代码略显冗余

#! python3

import requests, time, openpyxl
from bs4 import BeautifulSoup

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3626.400 QQBrowser/10.4.3211.400'
     }
     
def get_car_links(url): #定义函数获取车辆url
    car_links = []
    res = requests.get(url,headers=header)
    res.raise_for_status()
    soup = BeautifulSoup(res.text,'html.parser')
    links = soup.select('h5 > a')
    for link in links:
        car_links.append(link.get('href'))
    return car_links

def get_car_info(): #定义函数获取车辆信息info，并创建excel表格，写入获取的车辆信息

    wb = openpyxl.Workbook()
    ws = wb.active
    ws.title = '新车'
    wb.create_sheet('二手车',0)
    wb.save('E:\\汽车信息汇总.xlsx')
    
    wb = openpyxl.loa