需求分析
今天,有一个小伙伴问我说,“仙草哥哥,我听说最近猪肉涨价了,是真的吗?”
我感到了非常的困惑,“猪肉涨没涨价,你应该去菜市场上看看啊,你问我,我怎么知道啊?”
小伙伴说,“现在都2022年了,怎么还需要去菜市场才能知道菜价呢?谁说呆在家里就不能知道柴米油盐贵了呢?古时候,就有谋士稳坐营中,运筹帷幄,今天你有爬虫程序,怎么就不能通过爬虫程序,给我爬取一下猪肉的价格呢?“
啊,小伙伴话真多,不过,他说的也没错。前几天我们已经通过了爬虫程序爬取了雪糕价格,那么今天,我们就再做一个爬虫程序,爬取一下猪肉价格
实现分析
上次爬取雪糕价格,我们稍微遇到了一点困难,就是价格是写在jquery里面的,我们没有办法直接在html的代码中提取出来,所以说最终使用了selenium渲染了程序,才成功完成了爬虫程序。然而,这次却出乎意外的顺利,没有遇到任何阻碍,就成功拿到了数据
也就是说,首先通过requests发起请求,然后通过xpath进行提取,就能够完整的拿到数据了
# 通过requests发起请求
r = requests.get(url)
# 通过lxml提取数据
time = ul.xpath(".//span[@c