Python学习之路——抓取循环页面多元素信息

本文介绍了如何在Python学习过程中,利用代码抓取多个循环页面中的信息。通过实例展示了单页调用的方法,并讲解了如何在循环不同页面时引入time模块进行延迟处理,以实现更稳定的爬取效果。
摘要由CSDN通过智能技术生成

单页调用代码

from lxml import etree#导入lxml库中的etree模块
import requests#导入requests模块,

url = "https://book.douban.com/tag/小说?start=0&type=T"#变量赋值
s = requests.get(url).text#requests的get方法
n = etree.HTML(s)#将网页进行etree模块下HTML方法解析
book = n.xpath('//*[@id="subject_list"]/ul/li')#通过定位获取元素,定位至整个模块的xpath
for ele in book:
    name = ele.xpath('./div[2]/h2/a/@title')[0]#不加[0]的话,会显示【‘’】
    score = ele.xpath('./div[2]/div[2]/span[2]/text()')[0]
    people = ele.xpath('./div[2]/div[2]/span[3]/text()')[0].strip().strip('(').strip(')').strip('人评价')#.strip()删除空格
    print('{} {} {}'.format(name,score,people))

循环页面调用(第一第二循环页面,引入time模块)

from lxml import etree#导入lxml库中的etree模块
import requests#导入requests模块,
import time#导入time模块,
for i in range(5):#调用5页循环
    ur
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值