猪肉变贵了?通过爬虫程序爬取猪肉价格

本文介绍了如何通过Python爬虫程序获取猪肉价格。在需求分析部分,作者提出利用爬虫解决在家获取物价的问题。在实现分析中,详细描述了使用requests和xpath轻松抓取数据的过程,以及遇到的反爬策略,最终通过设置请求间隔来模拟正常用户行为,成功避免触发反爬措施。文章附带完整代码展示,展示了爬虫运行效果和获取的猪肉价格。
摘要由CSDN通过智能技术生成

需求分析

今天,有一个小伙伴问我说,“仙草哥哥,我听说最近猪肉涨价了,是真的吗?”

我感到了非常的困惑,“猪肉涨没涨价,你应该去菜市场上看看啊,你问我,我怎么知道啊?”

小伙伴说,“现在都2022年了,怎么还需要去菜市场才能知道菜价呢?谁说呆在家里就不能知道柴米油盐贵了呢?古时候,就有谋士稳坐营中,运筹帷幄,今天你有爬虫程序,怎么就不能通过爬虫程序,给我爬取一下猪肉的价格呢?“

啊,小伙伴话真多,不过,他说的也没错。前几天我们已经通过了爬虫程序爬取了雪糕价格,那么今天,我们就再做一个爬虫程序,爬取一下猪肉价格

实现分析

上次爬取雪糕价格,我们稍微遇到了一点困难,就是价格是写在jquery里面的,我们没有办法直接在html的代码中提取出来,所以说最终使用了selenium渲染了程序,才成功完成了爬虫程序。然而,这次却出乎意外的顺利,没有遇到任何阻碍,就成功拿到了数据

也就是说,首先通过requests发起请求,然后通过xpath进行提取,就能够完整的拿到数据了

# 通过requests发起请求
r = requests.get(url)

# 通过lxml提取数据
time = ul.xpath(".//span[@c
  • 22
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值