shell脚本编写，实现爬虫挂掉后重启

最新推荐文章于 2024-08-15 02:43:19 发布
最新推荐文章于 2024-08-15 02:43:19 发布
阅读量1.7k 收藏
点赞数
分类专栏： shell 文章标签： shell 爬虫 脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jaysonhu/article/details/51745514
版权
本文介绍了如何通过shell脚本来后台运行一个Java爬虫，并实现当爬虫进程挂掉时自动重启。主要内容包括使用nohup命令后台运行爬虫、通过检查进程数量判断爬虫状态、利用jps命令列出Java进程，以及编写shell脚本确保爬虫的稳定运行。
摘要由CSDN通过智能技术生成

首先我说一下需求

我有一个java写的爬虫，需要运行在linux后台，爬虫分为服务器端和客户端

后台运行爬虫

linux运行jar文件 java -jar ./spider_server.jar
后台运行：

nohup java -jar ./spider_server.jar > server.log 2>&1 &

使用nohup命令，然后把日志信息输出到server.log中

如果直接使用 java -jar ./spider_server.jar & 当前终端关闭后则程序停止运行

判断爬虫进程是否挂掉

ps -ef | grep spider_server.jar |wc -l

此命令输出结果为下面记录的个数：

最低0.47元/天 解锁文章
jaysonhu
关注
专栏目录
04 渗透测试基础
weixin_43234021的博客
01-04 1万+
渗透测试基础一 代码审计1 基础环境搭建(1) Web服务：WAMP+phpstudy(2) phpstudy2 HTML 表单 一 代码审计 1 基础环境搭建 (1) Web服务：WAMP+phpstudy (2) phpstudy 启动问题 端口正常开放 80 http 3306 mysql web根目录[C:\Users\dq\Documents\phpStudy-1-24\phpStudy\WWW] php 探针 phpinfo.php phpmyadmin Apache配置文件：[
详解程序意外中断自动重启shell脚本（以Python为例）
09-18
主要介绍了详解程序意外中断自动重启shell脚本（以Python为例），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
linux 脚本爬虫,shell脚本--练习1（爬虫）
weixin_32364135的博客
05-11 286
#!/bin/bash# date: 2018-03-xx# author: yk# descrption: Climbing 51cto data# version: 0.1source /etc/profile. /etc/init.d/functions# Create a temporary fileTmpFile="/tmp/.$(date +%Y%m%d_%H%M%S).log.tmp...
数据收集—自动化采集脚本（爬虫）
捡垃圾的朵
08-15 2040
1、什么叫自动化采集脚本：自动去采集网站上我们需要的数据。2、批量采集数据：谷歌浏览器—百度—东方财富网。①安装（pip install）和导入模块（import）；②本次操作需要的模块requests、pandas、re；re不用安装，是python自带的。③模块说明：requests—用来请求网站的数据；pandas—用来操作表格；re—用来筛选数据的。3、爬虫：请求某一个网站的数据。①确定目标：请求哪一个网址；②以什么样的身份去请求？③请求。
shell脚本
baiyuani的博客
01-06 164
判断脚本:本例要求在虚拟机 server0 上创建 /root/foo.sh 脚本，任务目标如下 1)当运行/root/foo.sh redhat，输出为fedora 2)当运行/root/foo.sh fedora，输出为redhat 3)当没有任何参数或者参数不是 redhat 或者 fedora时，其错误输出产生以下信息： /root/foo.sh redhat|fedora #!/bin/...
在linux下python爬虫进程发生异常时自动重启直至正常结束的方法
asdfgh0077的博客
05-10 221
在linux下python爬虫进程发生异常时自动重启直至正常结束的方法
Hadoop整体框架
热门推荐
爱吃串串的瘦子的博客
07-17 1万+
大数据框架 目录 大数据框架 一、Hodoop 四大组件：HDFS/MapReduce/YARN/Common 二、Zookeeper 三、Hive 四、Spark 五、ETL 六、ngnix 七、Redis 八、Oracle 十一、Jsp/node.js/JQueryEcharts 一、hadoop http://blog.csdn.net/huanglong8/...
termux python pandas_Termux-config
weixin_39783857的博客
12-08 875
Termux-configAbout/关于Termux是一个Android下一个高级的终端模拟器，开源且不需要root,支持apt管理软件包，十分方便安装软件包，完美支持Python,PHP,Ruby,Go,Nodejs,MySQL等。随着智能设备的普及和性能的不断提升，如今的手机、平板等的硬件标准已达到了初级桌面计算机的硬件标准,用心去打造完全可以把手机变成一个强大的工具.Installatio...
红队专题-REVERSE汇编/二进制PWN/逆向/反编译
aming小老弟
10-10 1257
ROP（Return-Oriented Programming）链是一种计算机安全领域中的攻击技术，用于绕过内存执行保护措施，实现利用漏洞进行代码注入和控制流劫持。由一系列已存在于程序内存中的代码片段（称为gadget）组成的，这些片段通常是程序的合法指令序列。通过将这些gadget按照特定的顺序串联起来，攻击者可以构造出一条可执行的ROP链，用于实现特定的攻击目的。ROP链的基本原理依赖于已存在的代码片段，而不是插入自定义的恶意代码。这样可以避免执行数据区域中的恶意代码，
python爬虫超时自动重新执行，推荐使用神器@retry(）
poluc的博客
10-08 1395
在python爬虫工作的过程中，经常会因为各种原因出现请求超时，以前都是用传统的try和except方法，在超时时抛出异常结束整个程序，然后再重新启动。当然也可以使用增加判断的方式来重新执行，但是作为一名怀有远大志向的新手，无法忍受代码如此不简洁、不优雅。在遭遇请求超时，再自动尝试10次，每次间隔时间在1~2秒之间，大功告成！整个方法只能告诉我们遇到了什么问题，却没能根本上解决问题。给请求函数上戴个帽子，注销掉无用的try。然后就找到了retry库。需要安装，但真的好用。
Python---爬虫---进程中断(爬虫挂掉)重启
weixin_41245276的博客
02-18 5003
  question 有的网站会凌晨重启，导致爬虫崩溃 遇到未考虑的异常或者使用selenium网络延迟导致程序中断 solve 写ssh脚本检查爬虫程序是否正常运行，挂掉重新拉起 while [ 1 ];do python3 asynci_spider.py done    ...
Shell 爬虫
Linux/OpenWrt
09-16 3825
Shell 爬虫 curl wget awk sed seq grep jq iconv sort wc Python 爬虫
如何用SHELL写好网络爬虫
weixin_34315485的博客
09-11 483
       上周，老大压下来任务，让写一个网络爬虫，负责爬某一个行业网站的数据信息。由于本人只会 shell 编程语言，其它编程语言从未涉猎，因此就只能硬着头皮用 shell 去写了。       转眼之前已经过去一周了，一切从无到有，经历的坎坷无数，这里我就不一一吐槽。       这里呢，我就简单和大家分享下，我个人对，如何用 shell 去写好网络爬虫的几点拙见，希望有想法的朋友联系我一起...
Linux的shell脚本爬虫实战之图片爬取
wtfsb的博客
09-03 1768
爬虫实战，涉及爬取网页内容，过滤规则的
SHELL网络爬虫实例剖析
weixin_34308389的博客
09-14 411
       前天简单分享了用 shell 写网络爬虫的一些见解，今天特地把代码发出来与51博友分享，还是那句话，爱技术、爱开源、爱linux。       针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash # # This script is used to grab the data on the specified industry websites # Writ...
一行shell代码进行爬虫，没想到。。。。
梦魇皇朝的博客
06-29 2698
开始用数组来下载前25部电影，结果是ok的！#!/bin/bashmovename=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $4}'`pictureurl=`curl https://movie.douban.com/top250 |grep '<img widt...
Linux Shell 实现网页爬虫
licongcong_0224的专栏
11-27 8181
#!/bin/bash cat ./cidlist | while read CID #从文件cidlist读取CID do { echo $CID         lynx -dump http://cheminfov.informatics.indiana.edu/rest/Chem2Bio2RDF/slap/cid=$CID  | grep "see paths" >
shell脚本监控和自动重启挂掉的Java服务
最新发布
09-19
在shell脚本中监控和自动重启挂掉的Java服务，通常会涉及以下几个步骤： 1. **检测服务状态**： 使用`ps -ef | grep [service_name]`命令检查Java进程是否存在，如果进程ID（PID）为空或者返回非零值表示服务已停止。 2. **设置检查间隔**： 使用`sleep`命令定义一段时间，比如每5秒或10秒检查一次，确保有足够的频率来及时发现服务异常。 3. **监控和判断**： 写一个循环，检查服务状态。如果服务未运行（例如进程不存在），则继续执行下一步。 4. **重启服务**： 如果服务挂掉，使用`nohup java -jar your_service.jar &> /dev/null &`这样的命令重启服务，并将日志重定向到/dev/null以避免干扰监控信息。 5. **记录日志**： 可以考虑记录下服务重启的原因和时间，以便于后期分析。 6. **异常处理**： 加入错误处理机制，比如检查重启操作是否成功，以及防止无限次重启导致的资源耗尽。 7. **循环监控**： 将整个过程封装在一个while循环中，直到用户手动结束或者满足特定的退出条件。 以下是一个简单的示例脚本结构： ```bash #!/bin/bash SERVICE_NAME=your_service LOG_FILE=restart_log.txt while true; do if ! ps aux | grep -v "grep" | grep "$SERVICE_NAME"; then echo "Java service $SERVICE_NAME is down. Restarting..." nohup java -jar your_service.jar &> /dev/null & echo "$(date) - Service restarted." >> $LOG_FILE sleep 5 else echo "Service running." sleep 5 fi done #
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值