python爬虫延迟加载_python定时爬虫启用时如何减少内存?

1606296590922710.jpg

我们在同时处理多个事情的时候,可能同时打开浏览器、办公软件等不同的几个程序,一旦过多电脑运行就会变慢。要是还不断地加入新的程序,电脑就会卡的动不了,然后宣布它不跟我们玩了。我们定时获取数据的时候,程序启动的也是非常多的,而且还不断有新的数据获取保存下来,那么我们有没有什么方法可以减少程序运行所占有的cpu率呢?

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程。

没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态。

代码解决:from datetime import datetime

from threading import Timer

import time

# 定时任务

def task():

print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def timedTask():

'''

第一个参数: 延迟多长时间执行任务(秒)

第二个参数: 要执行的函数

第三个参数: 调用函数的参数(tuple)

'''

Timer(5, task, ()).start()

while True:

timedTask()

time.sleep(5)

7行代码,是不是很优雅?2020-06-05 14:06:39

2020-06-05 14:06:44

2020-06-05 14:06:49

2020-06-05 14:06:54

2020-06-05 14:06:59

2020-06-05 14:07:04

2020-06-05 14:07:09

2020-06-05 14:07:14

2020-06-05 14:07:19

2020-06-05 14:07:24

本来一堆繁复的程序卡的电脑界面动弹不得,只要以上几行代码就可以还给我们一个运行流畅的环境,小伙伴们还不赶紧动手尝试下嘛,试完真的不卡了!更多Python学习指路:PyThon学习网教学中心。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值