python爬取饿了么评论_爬虫实例:饿了么爬虫

本文介绍了三种方法来爬取饿了么网站的商家信息:直接页面提取、通过接口提取和使用selenium模拟浏览。在直接提取和接口提取中遇到了问题,如XPath匹配到元素但内容为空。通过selenium模拟浏览并使用滚动条动态加载更多内容,成功获取到了120家商家的名称。
摘要由CSDN通过智能技术生成

饿了么外卖网站是一个ajax动态加载的网站

Version1:直接页面提取

from lxml importetreeimportrequestsimportsysimporttime

reload(sys)

sys.setdefaultencoding('utf-8')

url= 'https://www.ele.me/place/ws101hcw982?latitude=22.52721&longitude=113.95232'response=requests.get(url)printresponse.status_code

time.sleep(10)

html=response.content

selector=etree.HTML(html)

rez= selector.xpath('//*[@class="place-rstbox clearfix"]')print 'haha',rez #[]

for i inrez:

Name= i.xpath('//*[@class="rstblock-title"]/text()')printname

msales= i.xpath('//*[@class="rstblock-monthsales"]/text()')

tip= i.xpath('//*[@class="rstblock-cost"]/text()')

stime= i.xpath('//*[@class="rstblock-logo"]/span/text

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值