学习记录,linux使用wget命令实现整站下载

本文介绍了如何利用Linux命令行工具wget进行整站数据的下载。通过使用wget的递归下载、断点续传、转换链接为本地链接及指定文件后缀下载等参数,可以方便地在Linux环境中下载整个网站的内容。示例命令包括了下载全部数据、仅下载指定后缀如png和css文件,以及排除特定后缀如html和css文件的下载方法。
摘要由CSDN通过智能技术生成

引言

在Windows下有个叫做"整站下载器"的软件,可以用来抓取网站的数据下载到本地,而Linux上只需要用到我们平时最常用的命令行下载器Wget,就能完成整个网站数据的下载操作。

1.使用wget命令实现整站下载

下载整站数据,只需一条简单的命令:

#下面的命令会在终端所在目录创建一个www.qingsword.com目录,将网站www.qingsword.com上的数据全部下载到这个目录中
qing@qingsword.com$ wget -rck -np www.qingsword.com

#对应参数解释:
#-r,递归下载
#-c,断点续传,若网站长时间未响应或中途断开,此参数可以让数据断点续传
#-k,转换链接为本地链接
#-np,--no-parent不追溯至父级

2.仅下载指定后缀的文件

#参数-A指定,仅下载png与css后缀的文件,网站中其他类型的文件将不会被下载
qing@qingsword.com$ wget -rck -np -A '*.png','*.css' www.qingsword.com

3.不下载指定后缀的文件

#参数-R指定,除了html以及css后缀的文件外,下载其余所有文件
qing@qingsword.com$ wget -rck -np -R '*.html','*.css' www.qingsword.com



 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值