PhantomJs爬取数据线程未正常关闭导致资源耗尽解决方案

问题描述

由于平台需要爬取海外某网站上公开的数据资料，该网站的反爬虫能力很强，用传统的爬虫框架根本无法实现业务功能，最后无奈我们只能使用PhantomJs来模拟真实浏览器操作爬取数据。但是我们发现该网站的API有时候返回的数据比较大，耗时比较长，我们通过PhantomJs提供的命令无法kill掉线程，导致资源无法回收。

问题原因

PhantomJs每打开一个页面都如浏览器打开一个新的窗口会占用一定的资源，如果不能支持关闭这些窗口，会导致服务器资源耗尽，无法响应服务。

解决方案

在linux系统增加一个定时任务，定时扫描未正常关闭的phantomJs进程，如果超长未响应，系统调用命令kill掉线程。
线程脚本放置目录统一为
/mnt/phantomjs/script/killPhantomJs.sh

1. 执行命令 启动定时器

service crond start 

2. 添加一个定时任务 每5分钟执行一次

crontab -e
输入：*/5 * * * * /mnt/phantomjs/script/killPhantomJs.sh
输入:wq保存退出

3. 重启一下cond服务
4. 执行crontab -l 查看当前调度任务

如果需要命令详细的命令脚本代码，可以打赏联系我