linux安装chrome和selenium实现爬虫及排查后台开启大量的chromedriver,导致宕机

安装chrome

下载最新的chrome安装

yum install -y https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

安装完成后查看安装成功没有

yum list | grep chrome

在这里插入图片描述
此处可以看到安装的chrome的版本号,再去安装对应的版本号的驱动。
可以再官网查看浏览器对应的驱动版本:http://chromedriver.storage.googleapis.com/index.html

在这里插入图片描述

下载对应驱动之后会有一个chromedriver_linux64.zip文件,上传到linux,再对该文件进行解压

unzip chromedriver_linux64.zip

解压出来一个chromedriver文件夹
然后放到环境变量PATH路径中

cp chromedriver /usr/bin/

可以查看chromedriver的版本号

chromedriver --version

在这里插入图片描述
selenium代码测试

后来在使用的过程中,代码中在打开浏览器后获取对应数据后忘记
关闭,导致后来的每次启动都打开一个驱动,这样就会有很多驱动处于打开状态,浏览器就不能再打开了,具体解过程如下
发现 chromedriver 已经启动了,而且占用了大量的 cpu。

ps -axu | grep chromedriver 继续看进程:

ps -aux | grep chromedriver
root      1864  0.0  0.8 420820  8656 ?        Sl   Sep03   0:03 chromedriver --port=54253
root      1986  0.0  0.8 420788  8532 ?        Sl   Sep03   0:04 chromedriver --port=50076
root      2106  0.0  0.8 421844  8492 ?        Sl   Sep03   0:08 chromedriver --port=60481
root      2224  0.0  0.8 420788  8564 ?        Sl   Sep03   0:04 chromedriver --port=46809
root      2365 66.1  1.3 426452 13948 ?        Sl   Sep03 3808:20 chromedriver --port=42449
root      2505  0.0  0.8 419796  8592 ?        Sl   Sep03   0:08 chromedriver --port=58371
root      4305  0.0  1.0 420788 11060 ?        Sl   Sep04   0:06 chromedriver --port=48238

把他们都kill掉,然后你会发现,还是启动不了,继续看ps -aux | grep webdriver:

ps -aux | grep webdriver
root      1872  0.0  3.1 1297316 32364 ?       Sl   Sep03   0:40 /usr/lib64/chromium-browser/chromium-browser --disable-background-networking --disable-client-side-phishing-detection --disable-default-apps --disable-gpu --disable-hang-monitor --disable-images --disable-popup-blocking --disable-prompt-on-repost --disable-sync --disable-web-resources --enable-automation --enable-logging --force-fieldtrials=SiteIsolationExtensions/Control --headless --ignore-certificate-errors --load-extension=/tmp/.org.chromium.Chromium.mjqXiO/internal --log-level=0 --metrics-recording-only --no-first-run --no-sandbox --password-store=basic --remote-debugging-port=12212 --test-type=webdriver --use-mock-keychain --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" --user-data-dir=/tmp/.org.chromium.Chromium.80hqgb data:,
root      1913  0.0  4.4 1715216 44936 ?       Sl   Sep03   0:50 /usr/lib64/chromium-browser/chromium-browser --type=renderer --enable-automation --enable-logging --log-level=0 --no-sandbox --test-type=webdriver --use-gl=swiftshader-webgl --disable-gpu-compositing --service-pipe-token=D53136B4A76B7466381D9229384AE7C8 --lang=en-US --headless --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" --num-raster-threads=1 --service-request-channel-token=D53136B4A76B7466381D9229384AE7C8 --renderer-client-id=4 --shared-files=v8_natives_data:100,v8_snapshot_data:101
root      1994  0.0  3.1 1297348 31960 ?       Sl   Sep03   0:36 /usr/lib64/chromium-browser/chromium-browser --disable-background-networking --disable-client-side-phishing-detection --disable-default-apps --disable-gpu --disable-hang-monitor --disable-images --disable-popup-blocking --disable-prompt-on-repost --disable-sync --disable-web-resources --enable-automation --enable-logging --force-fieldtrials=SiteIsolationExtensions/Control --headless --ignore-certificate-errors --load-extension=/tmp/.org.chromium.Chromium.rQODJb/internal --log-level=0 --metrics-recording-only --no-first-run --no-sandbox --password-store=basic --remote-debugging-port=12134 --test-type=webdriver --use-mock-keychain --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" --user-data-dir=/tmp/.org.chromium.Chromium.LxceXg data:,
root      2034  0.0  4.3 1714712 44564 ?       Sl   Sep03   0:39 /usr/lib64/chromium-browser/chromium-browser --type=renderer --enable-automation --enable-logging --log-level=0 --no-sandbox --test-type=webdriver --use-gl=swiftshader-webgl --disable-gpu-compositing --service-pipe-token=9CFBD23CE4B01D39B07357EAC8FF18E3 --lang=en-US --headless --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" --num-raster-threads=1 --service-request-channel-token=9CFBD23CE4B01D39B07357EAC8FF18E3 --renderer-client-id=4 --shared-files=v8_natives_data:100,v8_snapshot_data:101

只要把之前启动的webdriver都清理完,就能够启动了。
当然,最简单的方法是重启。。。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

量化接口stockapi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值