python运行过程中占用内存越来越大_Python 程序运行时CPU和内存高解决思路

最新推荐文章于 2024-04-23 12:57:25 发布
最新推荐文章于 2024-04-23 12:57:25 发布
阅读量8.9k 收藏 3
点赞数
文章标签： python运行过程中占用内存越来越大
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33917474/article/details/113679399
版权

这篇文章是基于上篇文章的续章~

一台机器要部署很多爬虫，每天定时执行的情况下，服务器CPU和内存占比较高的情况出现后

模拟一份代码，进行分析。

5c035ee8cc417584135a02c71274b177.png

一个简单的爬虫程序，爬取10页数据共计150条，每天定时写入数据库

总共不到150行，没运行期间内存已经20%多了，运行期间内存会涨到60%，CPU会涨到40%左右

一个简单程序如此高的消耗肯定是有问题的，参考了网上的一些文章

有使用工具的，安装第三方包的，写时间判断的等等

但是对我的帮助不大(windows....)

努(带)力(薪)工(拉)作(*)之后，根据看过的文章思考了一番：1.内存和CPU高代表着程序当中的部分代码在大量或反复的执行2.爬取的时间3-4秒，写入MYSQL数据库，解析使用的XPATH，

保存数据使用的单表，索引只有ID和URL，表结构数据长度都合适3.使用了线程，线程数4个4.没有文件读写操作，网络请求较快，对方服务器响应较快5.使用了schedule定时模块6.对后台接口进行任务轮询和定时模块当中出现了while True

还有文章提到判断导入的模块是否时c写的，导致底层频繁调用，首先这个说法不说对不对...一是不会看，二是看了不也得用这个模块吗

所以不考虑这种情况1.部分代码在大量或反复的执行&

最低0.47元/天 解锁文章
MangoBoom
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python CPU，内存实时获取
ZBlog
04-14 1281
很多时候，我们需要用Python监控机器的CPU，内存，以下是代码。 使用前请安装psutil包#Python 3.x #Get CPU and RAM import psutil import time def getCPU(): return str(psutil.cpu_percent())def getMem(): return str(psutil.virtual_mem
10种检测Python程序运行时间、CPU和内存占用的方法
12-25
在运行复杂的Python程序时，执行时间会很长，这时也许想提高程序的执行效率。但该怎么做呢？ 首先，要有个工具能够检测代码中的瓶颈，例如，找到哪一部分执行时间比较长。接着，就针对这一部分进行优化。 同时，还需要控制内存和CPU的使用，这样可以在另一方面优化代码。 因此，在这篇文章中我将介绍7个不同的Python工具，来检查代码中函数的执行时间以及内存和CPU的使用。 1. 使用装饰器来衡量函数执行时间 有一个简单方法，那就是定义一个装饰器来测量函数的执行时间，并输出结果：   import time from functools import wraps def fn_timer(func
python 内存占用过多问题及其解决方案
huakej_的博客
03-26 1076
在 heavies() 函数中，每次生成的矩阵都会被复制一份副本，然后继续生成更多的矩阵。这种方式会导致大量的副本占据内存，从而导致内存占用过高。近期，一位 Python 开发者遇到了一个棘手的问题，他在开发过程中编写了一个能够穷举生成具有一定特征的矩阵的递归函数。然而，这个函数在运行时会占用过多的内存，导致服务器内存不足而被终止。调整 GC 的阈值，可以使 GC 更频繁地回收内存，从而减少内存占用。递归函数在调用时会创建新的函数栈帧，如果递归深度过大，就会导致栈溢出。
Python如何优化代码以减少内存占用？
最新发布
LindRoland的博客
04-23 507
PyInstaller和Py2exe等工具可以将Python程序打包为独立的可执行文件，减少运行时对Python解释器的依赖，从而降低内存占用。然而，随着代码规模的扩大和复杂度的提高，如果不进行适当的优化，Python程序可能会消耗大量的内存资源，导致性能下降甚至程序崩溃。因此，在处理大量数据时，使用生成器可以显著减少内存占用。测试和验证：在优化代码后，我们应该进行充分的测试和验证，以确保优化效果符合预期且没有引入新的问题。在优化之前，我们应该先分析程序的性能瓶颈和内存占用情况，找出真正需要优化的部分。
python内存占用过高_用Python Mechanize做爬虫遇到的内存过高问题
weixin_39706127的博客
12-05 423
今天在用mechanize写了一个爬虫脚本，想要去某网站爬取大概30万张图片。整个过程是：1、获取目标页面地址2、取得目标地址前几页的所有图片url3、对这些url进行下载，并把索引数据保存到mysql数据库。这个脚本大概每秒钟完成一张图片的下载(主要是网络只有200K/S左右，是瓶颈)当图片下载到大约15000张左右的时候，发现越来越慢，最后干脆停下了。用ps aux查看，发现进程sleep了，...
对python程序内存泄漏调试的记录
01-20
问题描述 调试python程序时，用下面这段代码，可以获得进程占用系统内存值。程序跑一段时间后，就能画出进程对内存的占用情况。 def memory_usage_psutil(): # return the memory usage in MB import psutil,os process = psutil.Process(os.getpid()) mem = process.memory_info()[0] / float(2 ** 20) return mem 发现进程的内存占用一直再上涨，而这从逻辑上来说是不正常的，所以想到程序可能发生了Memory Leak。 pyth
【解决】Python程序运行时所占内存越来越大
qq_41858149的博客
10-29 1万+
【解决】在编写Python程序时发现我的程序运行时所消耗的内存会越来越大，我针对这个问题进行了多方面尝试，最终成功解决了它。
【python】python跑长时间脚本运行导致的内存和CPU的占用高的解决
自动人生博客
07-26 9070
python 脚本占用内存和cpu使用率高的情况
Python程序占用内存不断增加
热门推荐
leogo17的博客
08-18 2万+
      最近在跑python程序时，出现占用的内存不断增加，从最开始的2GB左右，一直增加，达到几十GB，导致服务器非常卡顿。       通过调试，最终发现：在debug的时候，写了一些调用matplotlib来画图的程序，在正式运行的时候没有注释这一部分代码，导致一直在创建新的画图界面。注释这些代码即可解决内存不断增加的问题。...
目前流行的几种python服务器和框架的简介
星.云计算
07-12 578
1.tonardo---- 多并发、轻量级应用， “非阻塞”的web 容器。类似tomcat。这个大家太熟悉了，就不多说了。 2.Twisted---- Twisted 是一个Python 应用程序和库文件的集成套件。其中包括全套页面服务器应用程序和基于文本模式的游戏引擎。还有一些诸如对数据流进行处理的模块。是一个异步的网络开发框架，其中包含可以独立运行的服务器。类似tomcat。 3...
运行tensorflow python程序,限制对GPU和CPU的占用操作
12-20
设置`allow_growth=True`后，TensorFlow会在运行过程中根据需要逐步增加显存使用，而不是一次性分配所有显存。 接下来，我们讨论如何限制对CPU的使用。如果你想完全使用CPU，可以设置`CUDA_VISIBLE_DEVICES`为空...
Python限制内存和CPU使用量的方法（Unix系统适用）
09-16
本篇文章将详细介绍如何利用`resource`模块限制Python程序的内存和CPU使用量。 首先，针对CPU使用量的限制，我们可以使用`resource`模块中的`getrlimit`和`setrlimit`函数。`getrlimit`用于获取当前资源限制，而`...
python网络爬虫 占用内存和CPU越来越大 越跑越慢
Jinandawang的博客
03-19 4437
一、背景 IDE：spyder 使用 selenium + webdriver 爬取ajax数据 脚本里有for循环（一万次） 每次循环爬取一条数据（约几十 ~ 几百B的大小） 每次循环存进一条数据 二、解决方法（打开资源管理器观察） 在循环中定时关闭webdriver：driver.quit()，浏览器窗口关闭后再重开，webdriver占用的cpu和内存能被释放。 然后发现开了spyder后，会有一个python进程，这个进程占用的内存也会不断飙升，所以就关了spyder，直接用cmd+R
定位python脚本内存占用过多的原因
weixin_34301307的博客
03-28 1320
2019独角兽企业重金招聘Python工程师标准>>> ...
python程序越跑越慢与内存泄漏
qq_32791307的博客
05-25 1万+
问题：运行python程序的时候，在100轮以后时间从初始的3S一次，慢慢变为1分钟一次，越来越慢。 处理方法：查询资料得，这种问题的出现基本是由于程序内存泄漏。所以需要监测内存占用情况。 监测内存需要： memory_profiler 与 psutil 1. pip installmemory_profiler pip installpsutil 2. 在需要...
odoo用户占用cpu较高的问题
dorlolo的博客
09-17 250
odoo用户占用cpu较高的问题
使用python查看手机app运行时的cpu和内存占用
06-10
可以使用Android Debug Bridge (ADB)工具来查看手机app运行时的CPU和内存占用情况。以下是一些命令示例： 1. 查看设备列表：`adb devices` 2. 连接到设备：`adb -s <device_id> shell` 3. 查看进程列表：`ps` 4. 查看指定进程的CPU和内存占用情况：`top -n 1 | grep <package_name>` 其中，`<device_id>`是设备的ID，可以通过`adb devices`命令获取；`<package_name>`是应用程序的包名。 另外，还可以使用Python的`subprocess`模块来执行上述命令并获取输出结果，然后对结果进行解析和处理。例如： ```python import subprocess # 获取设备列表 devices_output = subprocess.check_output(['adb', 'devices']) devices_list = devices_output.decode('utf-8').strip().split('\n')[1:] # 获取指定设备上的进程列表 device_id = devices_list[0].split('\t')[0] process_output = subprocess.check_output(['adb', '-s', device_id, 'shell', 'ps']) process_list = process_output.decode('utf-8').strip().split('\n')[1:] # 查找指定包名的进程ID package_name = 'com.example.myapp' pid = None for process in process_list: if package_name in process: pid = process.split()[1] break # 获取指定进程的CPU和内存占用情况 if pid: top_output = subprocess.check_output(['adb', '-s', device_id, 'shell', 'top', '-n', '1']) top_lines = top_output.decode('utf-8').strip().split('\n') for line in top_lines: if pid in line: cpu_usage = line.split()[2] mem_usage = line.split()[6] print(f'CPU usage: {cpu_usage}, Memory usage: {mem_usage}') break ``` 注意：在运行上述代码之前，需要先将Android设备连接到电脑，并在设备上开启USB调试模式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值