linux执行python调用chrome内存溢出排查

最新推荐文章于 2024-02-23 10:30:44 发布
最新推荐文章于 2024-02-23 10:30:44 发布
阅读量544 收藏 1
点赞数
分类专栏： 实习知识点小记 文章标签： linux chrome kill python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38428310/article/details/118966683
版权

top命令 查看内存及cpu占用情况

 发现chrome占用的虚存36.9G，当长到46.9G的时候python程序就会被kill

解决问题第一步：

在python程序中写入:

os.system("pkill chrome")

os.system("pkill chromedriver")

解决问题第二步：

换一个机器，使用的机器是5G

方圆X
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python关闭浏览器窗口_selenium框架中driver.close()和driver.quit()关闭浏览器
weixin_39955233的博客
12-11 4476
Windows系统上，每次运行完selenium程序后，chromedriver.exe进程总是不能彻底关闭。selenium操作chrome浏览器需要有ChromeDriver驱动来协助。webdriver中关浏览器关闭有两个方法，一个叫quit，一个叫close。/*** Close the current window, quitting the browser if it's the la...
Python内存泄漏和内存溢出的解决方案
09-27
主要介绍了Python内存泄漏和内存溢出的解决方案，帮助大家维护后台进程，感兴趣的朋友可以了解下
linux安装chrome和selenium实现爬虫及排查后台开启大量的chromedriver，导致宕机
u014496893的博客
10-06 1979
安装chrome 下载最新的chrome安装 yum install -y https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 安装完成后查看安装成功没有 yum list | grep chrome 此处可以看到安装的chrome的版本号，再去安装对应的版本号的驱动。 wget http://npm.taobao.org/mirrors/chromedriver/94.0.4606.61/chromed
linux系统下，python 调用终端禁用鼠标键盘
12-21
一．在linux系统下使用终端禁用设备 二．使用python调用终端禁用设备． 三．完整的代码 一．在linux系统下使用终端禁用设备 １．在终端中输入　xinpot list   会显示所有的输入设备．如下表:有鼠标，键盘，无线连接，摄像头，本机键盘，触摸屏等等．  ~$ xinput list ⎡ Virtual core pointer id=2 [master pointer (3)] ⎜ ↳ Virtual core XTEST pointer id=4 [slave pointer (2)] ⎜
linux部署python脚本(包含Chrome和chromedriver)
最新发布
xiaweiaaa的博客
02-23 1283
如果出现这个错误,我的建议是在requirements.txt中找到相应的依赖并删除,因为这个清单里很多的依赖是用不到的,后续启动的时候缺少再去补充。如果不在当前路径 需要添加绝对路径: /usr/local/xxx/dependencies/这两个操作都是在windows系统上的,保证你的python脚本能够正常执行,进行以下操作。启动python脚本,缺啥补啥,直到启动成功,打印你的脚本中的相关内容为止。/usr/local/python:要给暂时的上传权限的dir路径。
Linux下使用python调用top命令获得CPU利用率
12-25
本文定位：想通过python调用top命令获取cpu使用率但暂时没有思路的情况。 如果单纯为了获得cpu的利用率，通过top命令重定向可以轻松实现，命令如下： 复制代码 代码如下: top -bi > cpuHistory.log 或 复制代码 代码如下: top -bi | tee  cpuHistory.log 这个就不解释了，不懂的朋友查询下top的帮助文档。这里要实现的是通过python调用top命令，并获得cpu的利用率信息。 用过popen的朋友很快就能想到类似如下的代码（这个是我第一次写的代码，*_*）： 复制代码 代码如下: #! /usr/bin/python import
webmagic chromeDriver linux 未正常退出
小生范
11-13 540
使用selineum + chromeDriver 的时候，发现运行一个周期后调用摧毁downloader的时候，webdriver有时候并不会关闭，这样运行时间长以后，死掉的chrome越来越多，内存就爆了。 在服务器上，可以在源码或者在调用spider.run()结束后，运行脚本将现有的chrome进程干掉： String[] cmd = {"/bin/sh","-c","ps -ef|grep chrome |grep -v grep | cut -c 9-15|xargs kill -s 9"}
在linux中使用python+selenium+chrome+chromedriver报错：/opt/google/chrome is no longer running
qq_40846669的博客
08-31 3875
处理这个问题的前提是已经安装好了chrome，以及对应的chromedriver 问题: (The process started from chrome location /opt/google/chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 处理方式： 该问题是因为在linux中python中selenium寻找chrome浏览器的默认地址为/opt/google/chrome，通
Linux ubuntu14.04 下 chromium 浏览器 CPU占用资源优化
蓬山菜鸟
08-01 1851
在ubuntu 上chrom 浏览器模拟桌面应用，我安装的是mini 版，没有安装桌面，后来用带桌面版的系统测试也是没问题的。 一开始运行 chromium-browser CPU资源占用99%，采用关闭硬件加速，关闭插件什么的都试过了，都没用。后来看到文章说是字体库的问题，但是改文章描述的也不清晰，不知道怎么解决。后来我直接把操作系统设置成英文系统就解决了。cpu占用直接降低到30%多。我用的以...
c#爬虫-从内存中释放Selenium chromedriver.exe终极杀
chinaherolts2008的博客
02-05 304
背景 之前在做爬虫的时候，遇到内存释放不掉的问c#教程题，从内存中释放Selenium chromedriver.exe。后面我使用以下方法： public override void DoJob(IJobExecutionConxt context, ILifetimeScope scope, string[] args) { Console.WriteLine(nameof(LoginReptiles1688Job) + " 开始-----------------
盘点几种解决 Chrome 占用内存大的实用方案
热门推荐
zhmch08的博客
12-16 1万+
转载自盘点几种解决 Chrome 占用内存大的实用方案！ 1. 前言 Google Chrome 是笔者平时工作使用最多的浏览器，随着 Tab 窗口及插件的增多，内存占用几乎令人崩溃，甚者会出现页面卡死的状态 废话不多说，本篇文章将介绍几种方案来解决 Chrome 占用内存大的问题 2. 解决方案 方案一：One Tab 插件 One Tab 插件，官方宣称可以节省 95% 的内存 当浏览器打开多个 Tab 页面时，可以通过 One Tab 插件将所有标签页转换为一个列表页面，通过减少浏览
解决 selenium + chrome webdriver 内存溢出导致崩溃的问题
北游的日常
08-21 1万+
在 selenium 长时间运行时出现了浏览器崩溃的问题， 处理思路： 尝试使用 handless 解决，发现无效，此方法无法解决 删除浏览器缓存，问题解决，注意控制清缓存的时间 browser.delete_all_cookies() ...
使用selenium后台多个chromedriver.exe导致内存使用率高
weixin_45750067的博客
06-03 5450
使用selenium后台多个chromedriver.exe导致内存使用率高 使用selenium 实现前端可视化操作，如下代码可以打开chrome浏览器 from selenium import webdriver #chrome浏览器驱动 driver_path = r'./file/chromedriver.exe' #打开google浏览器 driver = webdriver.Chrome(executable_path= driver_path) #浏览器全屏最大化 driver.maximiz
Selenium测试时清理chromedriver【linux\windows通用】
weixin_38640052的博客
08-05 1700
Selenium测试时清理chromedriver【linux\windows通用】 我们平时在使用chromedriver驱动时会存在未完全清楚的现象 解决思路 1、打开chromedriver时记录对应的端口号，退出或者执行完任务之后通过端口号清除该进程 2、执行任务后统一杀死所有chromedriver进程 下面为大家实现一下win\linux下如何杀掉所有的进程操作 class KillChromedriver(): def __init__(self): self.is
linux上面运行python抓取数据时由于chromedriver和chromium没有关闭导致的内存泄漏的问题解决方案
qq1300375795的博客
09-01 2299
在linux上面通过selenium的webdriver抓取数据的时候需要正确的关闭浏览器，不然就会出现内存泄漏的问题,注意下面的close和quir都需要加上去，其中close是关闭chromium，而quit则是关闭chromedriver的例如:simulated_browser = webdriver.Chrome() simulated_browser.get("www.baidu.com
python设置程序最大内存_限制你的Python程序所能使用的最大内存
weixin_30091863的博客
02-04 9635
如果程序开发不当，可能会出现占用过多内存的情况。特别是在Docker里面，如果Python程序占用太多内存，可能会导致Docker容器死掉。为了限制Python程序所能使用的最大内存，我们可以使用Python自带的resource模块。首先获取系统默认的内存soft上限和hard上限：importresourcesoft,hard=resource.getrlimit(resource.R...
Java+selenium+chrome的坑，NoSuchFieldError: LINUX
qq_37002981的博客
11-08 654
import org.openqa.selenium.JavascriptExecutor; import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; public class BrowserTest { public static void main(String[] ar...
linux系统各类负载高处理方法
weixin_49254673的博客
06-21 133
cpu内存磁盘io过高问题处理_51CTO博客_gnomeshell占用内存过高怎么解决。
Python selenium谷歌驱动内存问题
qq_60877671的博客
11-12 652
解决谷歌驱动内存无法结束问题
python调用chrome插件_Python使用Chrome插件实现爬虫过程图解
05-25
可以使用Python的Selenium库来调用Chrome插件。下面是实现爬虫过程图解： 1. 下载Chrome浏览器和ChromeDriver。 2. 安装Selenium库：`pip install selenium` 3. 下载需要的Chrome插件，并将其解压缩到一个文件夹中。 4. 使用ChromeDriver启动Chrome浏览器，并加载插件： ```python from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_extension('/path/to/extension') driver = webdriver.Chrome(chrome_options=chrome_options) ``` 5. 使用driver对象访问网页并进行爬取。可以使用driver的各种方法模拟用户操作，例如点击按钮、输入文本等。 6. 爬取完成后，关闭浏览器： ```python driver.quit() ``` 以上就是使用Python调用Chrome插件实现爬虫过程的基本流程。需要注意的是，Chrome插件的使用需要遵守插件开发者的使用协议，不要进行未经授权的操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值