《python爬虫学习》之for循环中的try和if效率对比

最新推荐文章于 2023-06-21 17:58:07 发布
最新推荐文章于 2023-06-21 17:58:07 发布
阅读量4.2k 收藏 4
点赞数 5
分类专栏： python爬虫学习 文章标签： python 列表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40878316/article/details/106423600
版权

在爬取b站数据时，因为有些视频没有简介或时长，导致使用xpath提取数据时出现IndexError错误，即

abstract = res.xpath('div[@class="r"]/div[@class="v-desc"]/text()')
times = res.xpath('div[@class="l"]//span[@class="dur"]/text()')
'''
这里如果爬取到的数据为空，得到的结果是abstract=[]和times=[]
因为这两个列表没有元素，所以使用abstract[0]和times[0]会导致越界，即索引值超出了列表长度
'''

 所以在后面重构代码的时候，我加了if语句去限定它，当他为空时赋值其他值，不为空时赋予list[0]的值。

for res in result:
    image = res.xpath('div[@class="l"]//div[@class="lazy-img"]/img/@src')[0]
    url = res.xpath('div[@class="l"]//a/@href')[0].replace('//', '')
    times = res.xpath('div[@class="l"]//span[@class="dur"]/text()')
    title = res.xpath('div[@class="r"]/a/text()')[0]
    abstract = res.xpath('div[@class="r"]/div[@class="v-desc"]/text()')
    num = res.xpath('div[@class="r"]/div[@class="v-info"]/span/span/text()')
    # 在66页有简介为空的视频导致IndexError: list index out of range错误,所以需要做一下判断
    # 其他的判断同理
    if len(abstract) == 0:
        abstract = '无简介'
    else:
        abstract = abstract[0]
    if len(times) == 0:
        times = '未知'
    else:
        times = times[0]

但思考了一下，每一次循环都用if语句去指定输出值，会不会增加时耗，所以我后面又添加了try语句，让它出现异常后再加限定。

    for res in result:
        '''
        如何没有空数据,即不会出现索引问题,我们就正常爬取,如果报错,那么我们就加判断条件限制.
        这里不直接使用if限定res的值不为空
        '''
        try:
            image = res.xpath('div[@class="l"]//div[@class="lazy-img"]/img/@src')[0]
            url = res.xpath('div[@class="l"]//a/@href')[0].replace('//', '')
            times = res.xpath('div[@class="l"]//span[@class="dur"]/text()')[0]
            title = res.xpath('div[@class="r"]/a/text()')[0]
            abstract = res.xpath('div[@class="r"]/div[@class="v-desc"]/text()')[0]
            num = res.xpath('div[@class="r"]/div[@class="v-info"]/span/span/text()')
        except IndexError:
            image = res.xpath('div[@class="l"]//div[@class="lazy-img"]/img/@src')[0]
            url = res.xpath('div[@class="l"]//a/@href')[0].replace('//', '')
            times = res.xpath('div[@class="l"]//span[@class="dur"]/text()')
            title = res.xpath('div[@class="r"]/a/text()')[0]
            abstract = res.xpath('div[@class="r"]/div[@class="v-desc"]/text()')
            num = res.xpath('div[@class="r"]/div[@class="v-info"]/span/span/text()')
            # 在66页有简介为空的视频导致IndexError: list index out of range错误,所以需要做一下判断
            # 其他的判断同理
            if len(abstract) == 0:
                abstract = '无简介'
            else:
                abstract = abstract[0]
            if len(times) == 0:
                times = '未知'
            else:
                times = times[0]

 那么，两种方法哪种效率最高呢？于是我做了一个比较不严谨的测试，就是对这两种方法进行一次爬取时长的测试对比。

首先是爬取1-99页数据（已知低66页会出现错误）

 iftry
1255.25015354156494253.46807074546814
2253.84186816215515252.08237195014954
3253.26841568946838251.44973397254944

 然后是1-50页数据（这里没有导致异常的数据）

 iftry
1128.0856523513794128.18170762062073
2127.2362470626831125.75610876083374
3126.44024205207825125.43329238891602

最后是1和51-100页（有导致异常的数据）

 iftry
1141.31432151794434141.8306381702423
2126.97643280029297137.30469703674316
3135.45368721348794140.42737317085266

这里看起来是有异常的情况下使用if去限定效率会比较高点，无异常的情况下try效率会高点，但实际考虑到网络的不稳定性，这组对比并不算严谨，所以我又写了下面代码来做对比。

import random
import time
T=[1]
F=[]
list=[T,F]
demoList1=[]
demoList2=[]
demoList3=[]
demoList4=[]
# 随机空列表
for i in range(1000000):
    demoList1.append(list[random.randint(0,1)])
beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList1:
    if len(res)>0:
        num+=res[0]
    else:
        num +=1
        FNum+=1
    count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次if限定用时{endTime - beginTime}')

beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList1:
    try:
        num+=res[0]
    except IndexError:
        num+=1
        FNum += 1
    finally:
        count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次try限定用时{endTime - beginTime}')

# 极少空列表的情况
for i in range(1000000):
    demoList2.append(list[0])
for i in range(100):
    demoList2[random.randint(0,1000000)]=F

beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList2:
    if len(res)>0:
        num+=res[0]
    else:
        num +=1
        FNum+=1
    count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次if限定用时{endTime - beginTime}')

beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList2:
    try:
        num+=res[0]
    except IndexError:
        num+=1
        FNum += 1
    finally:
        count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次try限定用时{endTime - beginTime}')
# 无空列表的情况
for i in range(1000000):
    demoList3.append(T)

beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList3:
    if len(res)>0:
        num+=res[0]
    else:
        num +=1
        FNum+=1
    count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次if限定用时{endTime - beginTime}')

beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList3:
    try:
        num+=res[0]
    except IndexError:
        num+=1
        FNum += 1
    finally:
        count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次try限定用时{endTime - beginTime}')

# 全空列表的情况
for i in range(1000000):
    demoList4.append(F)
beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList4:
    if len(res)>0:
        num+=res[0]
    else:
        num +=1
        FNum+=1
    count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次if限定用时{endTime - beginTime}')

beginTime = time.time()
count=0
num=0
FNum=0
for res in demoList4:
    try:
        num+=res[0]
    except IndexError:
        num+=1
        FNum += 1
    finally:
        count+=num
endTime = time.time()
print(f'F数量为{FNum}，本次try限定用时{endTime - beginTime}')

 第一次结果

F数量为500775，本次if限定用时0.7730720043182373
F数量为500775，本次try限定用时0.9919514656066895
F数量为100，本次if限定用时0.7140657901763916
F数量为100，本次try限定用时0.5791869163513184
F数量为0，本次if限定用时0.7121121883392334
F数量为0，本次try限定用时0.5681884288787842
F数量为1000000，本次if限定用时0.793057918548584
F数量为1000000，本次try限定用时1.504162073135376

第二次结果

F数量为499578，本次if限定用时0.8145346641540527
F数量为499578，本次try限定用时1.003842830657959
F数量为100，本次if限定用时0.812556266784668
F数量为100，本次try限定用时0.6121621131896973
F数量为0，本次if限定用时0.7909219264984131
F数量为0，本次try限定用时0.6411514282226562
F数量为1000000，本次if限定用时0.8359837532043457
F数量为1000000，本次try限定用时1.98175048828125

第三次结果

F数量为499816，本次if限定用时0.7385780811309814
F数量为499816，本次try限定用时0.9664478302001953
F数量为100，本次if限定用时0.6796119213104248
F数量为100，本次try限定用时0.5826675891876221
F数量为0，本次if限定用时0.6956019401550293
F数量为0，本次try限定用时0.5746748447418213
F数量为1000000，本次if限定用时0.775557279586792
F数量为1000000，本次try限定用时1.4921455383300781

 从测试结果可以知道，没有空列表或极少空列表时，try效率比if要高，但如果空列表数量过大时，采用if去限定比try效率高。

我们爬取数据时经常会遇见空列表，并且不知道有多少空列表，所以比起if去限定，不如直接用try语句。即使我们不知道哪个地方会出现IndexError这类错误，也可以先打印出来并且跳过进行执行代码。

 


 

 

九圣残炎
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python循环功能在try里实现_try excep在for循环中的使用易错点
weixin_39895684的博客
12-09 7794
当for循环遇到try except应该如何正确使用呢？有些同学在写程序的时候懒省事直接把try语句写在了for循环的外层，这样一来可能造成程序运行并非你的预期。比如现在有个变量num,有个列表lis，需求：把列表所有的元素减去1以后在用num除以它。考虑到列表元素减1之后可能是0,而除以0会有异常。于是为了避免程序停止就做了异常处理，但是就用了下面的写法：# -*- coding: utf-8 ...
while、for、try except语句中的else
jia8267166的博客
02-27 505
Python中的else是基础的语句，它的两种使用形式是： ifcondition: doSomeThings else: doAnthorThings 以及 ifcondition1: do1 elifcondition2: do2 else: doOtherThings 这两个用法理解起来没有问题。下面要看的是for，while循环和try异常处理语句中的else的用法。 一、for，while循环中的else for，while循环...
python中for和try搭配else
baidu_36831253的博客
07-01 2936
for: https://www.cnblogs.com/dspace/p/6622799.html else: https://docs.python.org/zh-cn/3/tutorial/errors.html
8.Python进阶_异常处理
dietan8353的博客
10-02 124
vamei前辈博客地址：http://www.cnblogs.com/vamei/archive/2012/07/10/2582787.html #!/usr/bin/python #python ver3.3 #异常处理 print ('异常处理') ''' 在项目开发中，异常处理是不可或缺的。异常处理帮助人们debug，通过更加丰富的信息，让人们更容易找到bug的所在。异常处理还...
python try语句 异常 对程序运行速度的影响
刘文凯的博客
11-16 1413
直接执行耗时操作和耗时操作放在try中执行并无异常触发时性能消耗几乎是一样的。 无论是把要计算的代码放在 try 中执行还是在 except 中执行性能消耗几乎是一样的。
如何提高python 中for循环的效率
12-20
对于某个城市的出租车...因此，需要使用并行进行for循环的技巧： 由于3000万数据放到csv中导致csv打不开，因此我就把一个csv通过split软件将其切分成每份60万，共53个csv。 我原来的思路是读取文件夹，获取由每一个60
Python中在for循环中嵌套使用if和else语句的技巧
09-21
Python的语法糖非常强大,比如Python中在for循环中嵌套使用if和else语句的技巧便十分给力,下面我们就举几个例子来看详细的用法:
Python学习笔记之For循环用法详解
01-20
本文实例讲述了Python学习笔记之For循环用法。分享给大家供大家参考，具体如下： Python 中的For循环 Python 有两种类型的循环：for 循环和 while 循环。for 循环用来遍历可迭代对象。 可迭代对象是每次可以返回其中...
Python异常(try...except)对代码运行性能的影响
热门推荐
不忘初心，方得始终
11-01 2万+
本文主要测试并探讨Python中的异常处理会对代码运行性能造成的影响。
Python入门教程：掌握for循环、while循环、字符串操作、文件读写与异常处理等基础知识
全栈若城,专注知识分享
06-21 4083
本文是一篇适合 Python 初学者的入门教程。文章详细介绍了 Python 中常用的 for 循环、while 循环、字符串操作、文件读写、异常处理、函数、模块和包、类和面向对象编程等基础知识。通过阅读本文，读者可以初步了解 Python 编程语言的基本概念和语法，并掌握一些实用的编程技巧，为进一步学习和应用 Python 奠定坚实的基础。
python中的try与if,python中if和try的区别是什么
weixin_39542514的博客
03-26 1906
python中if和try的区别是什么发布时间：2020-09-10 10:04:05来源：亿速云阅读：85作者：小新这篇文章给大家分享的是有关python中if和try的区别是什么的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。Python条件语句是通过一条或多条语句的执行结果(True或者False)来决定执行的代码块。Python程序语言指定任何非0和非空(null...
Python爬虫——异常处理(try/except/else/finally)
Simon_LHM的博客
08-10 1862
1. 什么是异常 当程序运行中检测到一个错误时，无法继续执行，出现了一些错误的提示，这就是异常 常见错误类型 BaseException 所有异常的基类 *** SystemExit 解释器请求退出 *** KeyboardInterrupt 用户终端执行(通常是输入) *** GeneratorExit 生成器(Generator)发生异常来通知推出 *** Exception 常规错误基类 2. 异常捕获 python中的异常捕获...
Python新手“0”基础学习笔记（三）
xcsco的博客
04-30 448
Python新手“0”基础学习笔记（三） try/except语句 用于查证程序是否能正常运行的代码块。 Python首先尝试运行try语句。如果得到任何错误，它将运行except代码块中的代码。接着，程序将正常运行。 如果运行try代码块中的代码而没有产生错误，Python将跳过except代码块。 try代码块中修改过的代码不会因为出现异常而取消修改过的代码。 try/except和if/el...
try放在for循环里面和外面的区别是什么呢？
wufenghuo的博客
11-05 1758
try放在for循环里面和外面的区别是什么呢？先看看下面的代码的区别： public class Test { public void test1(){ for (int count = 0; count < 6; count++) { try { int x; if (count == 3) x = 1 / 0; el...
python的if，while, for, try, with语句
Zed__H的博客
12-16 829
if语句 语法 "if" assignment_expression ":" suite ("elif" assignment_expression ":" suite)* # *表示可以匹配多个elif ["else" ":" suite] # 括号和方括号表示可省略 eg: if (1<2): # 判断语句1 print('yes') # 执行语句1 elif (1==2): # 判断语句2 p
用6个实例，8段代码，详解Python中的for循环
weixin_69333592的博客
12-14 1164
Python 支持for循环，它的语法与其他语言（如JavaScript 或Java）稍有不同。
python利用try_except打印错误信息，并继续执行
weixin_45798949的博客
11-12 1万+
try:#jia print('.............') except Exception as e: #print('错误类型是',e.__class__.__name__)#except:#jia print('错误明细是',e.__class__.__name__,e) #continue#jia continue
python的try函数_python(2): If/for/函数/try异常/调试/格式输出%
weixin_39922769的博客
11-26 718
(一) ifif a1==a2:print('ok')if: else:if: elif: ... else: 注意缩进猜数字游戏from random importrandintx=randint(0,300)digit= int(input('please input a number between 0-300:'))if digit==x:print('bingo!')elif dig...
python写爬虫时需要捕获出错信息: try except模块
xtreallydance的博客
12-29 1384
如果你肯花时间来了解我，你就会发现，你浪费了一点时间！ 今天晚上写爬虫代码时候，需要了解出错信息，然后就自己调试了以下代码，最终找到了出错原因，然后呢直接贴代码讲吧！ try: # //*[@id="J-items-content"]/div[5]/div/div[1]/div[2]/div[1]/div[1] # years = item.xpath('//*[@id="J-items-content"]/div[4]/di.
python for循环中if
最新发布
08-24
在 Python 中，可以在 for 循环中使用 if 语句来进行条件判断。这样可以根据特定的条件来选择性地执行某些操作。 例如，我们可以使用 for 循环遍历一个列表，并在满足某个条件时执行特定的操作。下面是一个示例代码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值