Linux wget爬虫命令

通过wget的--spider选项可以模拟爬虫行为检查网站,结合--T设置超时时间和--t设定重试次数。静默模式(-q)和输出文件(--output-file)可用于记录结果。当wget命令执行后,返回值0表示命令执行成功,可用于实时监控网站的可达性。
摘要由CSDN通过智能技术生成

查看网站URL是否正常最常见的方式莫过于使用wget和curl工具来活动网站的URL信息;

  1. wget命令:下载网页或者文件的工具命令

–spider 模拟爬虫的行为去访问网站,但是不会下载网站
–q, --quit 安静的访问,禁止输出,类似于 -o 、dev/null
–o, --output-file=FILE,记录输出到文件中
–T, 网站访问超时的时间
–t,网站异常时重试的次数

实时监控的方式:(利用放回值确定网站是否正常)

wget --spider -T  5  -q  -t  2  www.baidu.com  #(这个命令会wget 会后台爬取网站)

echo $? => 输出 0 表示上个命令执行正常

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值