python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

本文介绍了如何使用Python爬虫从“小咪购”网站抓取天猫所有含有购物券的商品信息,并将数据保存到Excel文件。通过分析网页源代码确定网站为静态,主要使用requests、lxml和xlwt库完成数据采集和存储。代码中包含创建headers、抓取数据并构造列表、以及写入Excel表格的步骤。
摘要由CSDN通过智能技术生成

今天给大家分享一个小网站的数据采集,并写到excel里面!

python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

分析网站

目标网站是“小咪购”,这里有天猫所有的含有购物券的商品信息,我们今天就来抓它吧!

python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

随便找一段文字,然后点击右键查看网页源代码,看看是否存在该文字,如果存在,那么这个网页就是静态网站了!很幸运,这个网站居然是静态的。

python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

那就简单了,不需要去分析ajax加载数据或者找json包了,直接获取网页源代码==>>匹配相关内容==>>保存数据即可!

python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

工具和库

Windows+python3.6

import random

import time

import requests

from lxml import etree

import xlwt

用这几个库就可以搞定了!注意xlwt和xlrd这2个库都是操作excel的,一个是保存数据,一个是读取数据,不要搞混了。

python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

开始写代码

首先写一个函数,将所有的爬虫工作写到函数里,如下图

python简单应用!用爬虫来采集天猫所有优惠券信息,写入本地文件

这个网站需要写上headers,不写是抓不到数据的!新建一个列表,将爬到的相关数据写入列表,它的形式大概是这样的:【【产品信息A1,2,3……】,【产品信息B1,2,3……】……】,这么写列表是因为我们最后要将他们写如excel表格,那么列表中的每一个元素(还是列表形式)都是一行数据,方便写入!

注意第33行,列表构成的时候,用+连接会将所有列表中的元素放入一个列表,比如:【1,2,3】+【4,5】=【1&#x

  • 5
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值