Linux-wget指令

Linux-wget指令

1. 概述

wget是一个在命令行下使用的网络下载工具，它可以用来从网络上获取文件。wget支持HTTP、HTTPS和FTP协议，并且能够通过代理服务器下载。它的主要优点是支持断点续传、递归下载和自动处理重定向。

2. 基本语法

wget的基本语法如下：

wget [选项] [URL]

其中，[选项]是你可以添加的各种功能选项，而[URL]则是你要下载的文件地址。

3. 常见选项及实例

3.1 下载单个文件

最简单的用法是直接下载一个文件。例如，下载一个图片文件：

wget http://example.com/image.jpg

该命令将image.jpg下载到当前目录。

3.2 指定文件名保存

如果你希望将文件保存为特定的名称，可以使用-O选项：

wget -O new_name.jpg http://example.com/image.jpg

这个命令将文件保存为new_name.jpg。

3.3 断点续传

当网络中断时，可以使用-c选项进行断点续传：

wget -c http://example.com/largefile.zip

如果文件已经部分下载，wget会继续下载剩下的部分。

3.4 递归下载

wget可以递归下载网站上的所有内容，这对于备份网站或离线浏览非常有用。使用-r选项：

wget -r http://example.com

该命令将下载example.com网站的所有页面和资源。

3.5 下载整个网站并保持目录结构

使用-np选项可以防止wget下载父目录的内容。结合-k选项，wget可以将HTML文件中的链接转换为本地文件系统的链接：

wget -r -np -k http://example.com

这将下载整个网站并保持原有的目录结构。

3.6 限制下载速度

为了避免占用带宽，你可以使用–limit-rate选项限制下载速度。例如，将速度限制为200KB/s：

wget --limit-rate=200k http://example.com/largefile.zip

3.7 设置重试次数

默认情况下，wget会在网络不稳定时多次重试下载。你可以使用–tries选项设置重试次数，例如：

wget --tries=10 http://example.com/somefile.zip

这会将重试次数设置为10次。

3.8 代理服务器下载

如果你在使用代理服务器，可以通过设置环境变量或使用–proxy选项配置代理。例如：

wget --proxy=on http://example.com/somefile.zip

4. 高级用法

4.1 下载指定文件类型

通过-r和-A选项，wget可以递归下载特定类型的文件。例如，只下载网站上的PDF文件：

wget -r -A "*.pdf" http://example.com/

4.2 镜像网站

使用–mirror选项，wget可以创建网站的完整镜像，包括所有文件和目录结构：

wget --mirror -p --covert-links -P ./localdir http://example.com

4.3 下载列表中的所有URL

如果你有一个包含多个URL的文本文件，可以使用-i选项一次性下载所有文件：

wget -i urls.txt

4.4 用户代理设置

有些网站会检查请求的用户代理（User-Agent）。wget允许你自定义用户代理：

wget --user-agent="Mozilla/5.0" http://example.com

4.5 HTTP身份验证

对于需要登录的网站，wget支持HTTP基本认证。你可以使用–user和–password选项提供用户名和密码：

wget --user=username --password=secret http://example.com/protectedfile.zip

4.6 使用Cookies

wget可以使用和保存Cookies。例如，从某个网站下载需要先登录：

wget --save-cookies cookies.txt --post-data 'user=admin&password=secret'<