shell脚本编写，实现爬虫挂掉后重启

最新推荐文章于 2024-04-28 02:16:20 发布
最新推荐文章于 2024-04-28 02:16:20 发布
阅读量1.6k 收藏
点赞数
分类专栏： shell 文章标签： shell 爬虫 脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jaysonhu/article/details/51745514
版权

首先我说一下需求

我有一个java写的爬虫，需要运行在linux后台，爬虫分为服务器端和客户端

后台运行爬虫

linux运行jar文件 java -jar ./spider_server.jar
后台运行：

nohup java -jar ./spider_server.jar > server.log 2>&1 &

使用nohup命令，然后把日志信息输出到server.log中

如果直接使用 java -jar ./spider_server.jar & 当前终端关闭后则程序停止运行

判断爬虫进程是否挂掉

ps -ef | grep spider_server.jar |wc -l

此命令输出结果为下面记录的个数：

最低0.47元/天 解锁文章
jaysonhu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解程序意外中断自动重启shell脚本（以Python为例）
09-18
主要介绍了详解程序意外中断自动重启shell脚本（以Python为例），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
linux 脚本爬虫,shell脚本--练习1（爬虫）
weixin_32364135的博客
05-11 250
#!/bin/bash# date: 2018-03-xx# author: yk# descrption: Climbing 51cto data# version: 0.1source /etc/profile. /etc/init.d/functions# Create a temporary fileTmpFile="/tmp/.$(date +%Y%m%d_%H%M%S).log.tmp...
再也不用手写爬虫了！推荐5款自动爬取数据的神器！_自动爬取工具
最新发布
m0_54926105的博客
04-28 1253
以上就是今天为大家带来的五款自动提取数据的工具，如果对于偶尔一次的爬虫，或者很低频率的爬取需求，完全没有必要去学习爬虫的技术，因为学习成本很高。好比如果你只是想P几张图，直接用美图秀秀了，不需要学Photoshop。如果是对爬虫有很多定制的需求，需要对收集的数据进行分析和深度挖掘，而且是高频的，或者你想通过爬虫把Python技术运用的更深入，学习的更扎实，这个时候才考虑学爬虫。好了，以上几个工具都是不错的，有兴趣的同学可以试试【读者福利】如果你对Python感兴趣，学好 Python 不论是。
shell脚本
baiyuani的博客
01-06 137
判断脚本:本例要求在虚拟机 server0 上创建 /root/foo.sh 脚本，任务目标如下 1)当运行/root/foo.sh redhat，输出为fedora 2)当运行/root/foo.sh fedora，输出为redhat 3)当没有任何参数或者参数不是 redhat 或者 fedora时，其错误输出产生以下信息： /root/foo.sh redhat|fedora #!/bin/...
在linux下python爬虫进程发生异常时自动重启直至正常结束的方法
asdfgh0077的博客
05-10 209
在linux下python爬虫进程发生异常时自动重启直至正常结束的方法
Shell脚本定时监控tomcat，服务挂掉自动重启
01-23
Shell脚本定时监控tomcat，服务挂掉自动重启
IDEA中编写并运行shell脚本的实现
08-18
IDEA中编写并运行shell脚本的实现 IDEA中编写并运行shell脚本的实现是指在Integrated Development Environment（IDE）中编写、配置和运行shell脚本的过程。该过程需要安装bashsupport插件，配置插件，安装git软件，...
linux下监视进程 崩溃挂掉后自动重启的shell脚本
09-15
如何保证服务一直运行？如何保证即使服务挂掉了也能自动重启？在写服务程序时经常会碰到这样的问题。在Linux系统中，强大的shell就可以很灵活的处理这样的事务
shell脚本编写俄罗斯方块
01-20
网上看到的一个用linux的shell脚本写的俄罗斯方块。共享一下。 原作者信息在脚本的注释中有。 下载地址：点击下载 代码： #!/bin/bash # Tetris Game # 10.21.2003 xhchen<[email]xhchen@winbond.com.tw[/...
Shell脚本编写实战
06-09
根据实际的案例讲解怎么编写Shell脚本，在什么场景下编写为讲解导向。课程内容如下：1.编写Shell脚本注意事项与编写打印字体颜色函数2.批量创建用户3.监控主机存活状态4.监控CPU、内存、硬盘和网卡流量利用率5.监控...
一个爬虫脚本
01-11
一个Python爬虫脚本，可以使用他下载一些图片什么的，
python爬虫超时自动重新执行，推荐使用神器@retry(）
poluc的博客
10-08 1343
在python爬虫工作的过程中，经常会因为各种原因出现请求超时，以前都是用传统的try和except方法，在超时时抛出异常结束整个程序，然后再重新启动。当然也可以使用增加判断的方式来重新执行，但是作为一名怀有远大志向的新手，无法忍受代码如此不简洁、不优雅。在遭遇请求超时，再自动尝试10次，每次间隔时间在1~2秒之间，大功告成！整个方法只能告诉我们遇到了什么问题，却没能根本上解决问题。给请求函数上戴个帽子，注销掉无用的try。然后就找到了retry库。需要安装，但真的好用。
Python---爬虫---进程中断(爬虫挂掉)重启
weixin_41245276的博客
02-18 4951
  question 有的网站会凌晨重启，导致爬虫崩溃 遇到未考虑的异常或者使用selenium网络延迟导致程序中断 solve 写ssh脚本检查爬虫程序是否正常运行，挂掉重新拉起 while [ 1 ];do python3 asynci_spider.py done    ...
Shell 爬虫
Linux/OpenWrt
09-16 3771
Shell 爬虫 curl wget awk sed seq grep jq iconv sort wc Python 爬虫
SHELL网络爬虫实例剖析
weixin_34308389的博客
09-14 403
       前天简单分享了用 shell 写网络爬虫的一些见解，今天特地把代码发出来与51博友分享，还是那句话，爱技术、爱开源、爱linux。       针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash # # This script is used to grab the data on the specified industry websites # Writ...
一行shell代码进行爬虫，没想到。。。。
梦魇皇朝的博客
06-29 2685
开始用数组来下载前25部电影，结果是ok的！#!/bin/bashmovename=`curl https://movie.douban.com/top250 |grep '&lt;img width="100"'|awk -F '"' '{print $4}'`pictureurl=`curl https://movie.douban.com/top250 |grep '&lt;img widt...
Linux Shell 实现网页爬虫
licongcong_0224的专栏
11-27 8148
#!/bin/bash cat ./cidlist | while read CID #从文件cidlist读取CID do { echo $CID         lynx -dump http://cheminfov.informatics.indiana.edu/rest/Chem2Bio2RDF/slap/cid=$CID  | grep "see paths" >
Python 爬虫程序的定时功能与监视
qq_37634812的博客
08-28 4372
简介 我们的爬虫程序在执行过程中，可能需要满足以下条件： 1、可以每天定时执行，爬取指定电商等网站内容。 2、可以对分布式爬虫进行监控，当爬虫程序挂掉之后，可以通知管理员。   下面我们来介绍如何实现这两个功能。   注意： 这里我们主要演示定时执行和监控功能，所以爬虫程序只是伪代码。如果想要详细了解如何实现网络爬虫，可以参考如下一些文章： h
编写一个shell脚本，可以实现java程序重启
02-22
可以使用以下shell脚本实现java程序重启： #!/bin/bash # 杀死Java进程 ps -ef | grep java | grep -v grep | awk '{print $2}' | xargs kill -9 # 启动Java程序 cd /usr/local/java/ nohup java -jar {jar包名} >/dev/null 2>&1 &

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值