【扒站】Liunx + wget

CMS 专栏收录该内容
13 篇文章 0 订阅

在 Linux下,通过一个命令就可以把整个站相关的文件全部下载下来。

方法一:

wget -r -p -k -np 

参数说明:

-r : 递归下载
-p : 下载所有用于显示 HTML 页面的图片之类的元素
-k : 在转换文件 X 前先将它备份为 X.orig。
-np: 不追溯至父目录

方法二:

wget -r -np -nd http://example.com/

参数说明:

-r : 递归下载
-np: 不追溯至父目录
-nd: 不在本机重新创建目录结构

这条命令可以下载 http://example.com 网站根目录中的所有文件。

方法三: 

wget -m -k http://www.example.com/
wget -m -k -H http://www.example.com/

参数说明:

该命令可用来镜像一个网站,wget 将对链接进行转换。

-H, 图像是放在另外的站点

-l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷)。

最后一条就是用来镜像一个网站的,简单有效,速度超快,镜像下来网站文件结构,代码都完整无须修改。

方法四:

wget -nc -r -p -k -np -P ${WEBDIR}/ $1
 
# -nc 断点续传

# -r, --recursive(递归) specify recursive download.(指定递归下载)

# -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的 HTML 页面中的链接转换为相对链接即本地链接)

# -p, --page-requisites(页面必需元素) get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)

# -np, --no-parent(不追溯至父级) don't ascend to the parent directory.

# 另外 日志,用 -o 参数

方法五:

wget -nc -m -p -k -P ${WEBDIR}/ $1
 
 
# -nc 断点续传

# -m or --mirror开户镜像下载

# -p下载所有为了html页面显示正常的文件

# -k or --convert-links下载后,转换成本地的链接

# -P ./LOCAL保存所有文件和目录到本地指定目录

 

  • 1
    点赞
  • 2
    评论
  • 3
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值