wget简介

一、wget的介绍

wget 主要用于从网络上自动下载文件，它运行在类 Unix 系统，尤其是在 Linux 环境中被广泛使用。

• 能够从网络上自动下载文件，支持 HTTP、HTTPS 和 FTP 等多种协议，还能使用 HTTP 代理。可以在系统后台启动一个 wget 下载任务，退出系统后自动下载到任务完成。
• 在面对下载大量数据的情况时，它能够跟踪 HTML 页面上的链接，依次下载并创建远程服务器的本地版本，完整地重建原始站点的目录结构，也就是所谓的“递归下载”。而且在这个过程中，它会严格遵循 Robot Exclusion 标准，确保下载行为的合规性。
• 在带宽狭窄和网络不稳定的情况下，也可以正常运行。因为网络原因导致下载失败，会不断尝试，直到整个文件成功下载。即使服务器中途打断下载过程，也能够再次连接到服务器上，从停止的地方继续下载。

二、wget 的基本用法

在命令提示符或终端中输入“wget”命令后，结合具体的参数和目标地址，它能够从指定的位置下载文件或数据。例如，“wget http://example.com/file.txt”，它就会开始下载指定的文件。

例如：wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

三、wget 的其他功能

• 多线程下载：使用 -t 参数可以启动多个线程进行下载，加快下载速度。
• 下载并重命名文件：结合 -O 参数和文件名，可以在下载的同时重命名文件。

• 递归下载：
  • 参数 -r 实现递归下载，例如 wget -r http://example.com/site/ 。
• 断点续传：
  • 一般情况下直接再次执行相同的命令就可以从断点继续下载。
• 限制下载速度：
  • 参数 --limit-rate=速率值，比如 wget --limit-rate=100k http://example.com/file.txt 表示限制下载速度为每秒 100 千字节。
• 后台下载：
  • 参数 -b 可以让 wget 在后台运行，例如 wget -b http://example.com/file.txt 。
• 设置用户代理：
  • 通过 -U 参数指定用户代理，如 wget -U "MyAgent"http://example.com/file.txt 。
• 指定下载目录：
  • 参数 -P 指定下载到特定目录，如 wget -P /path/to/dir http://example.com/file.txt 
• 下载部分文件：
  • 参数 -R 可以递归下载整个网站或目录，
  • 如果只想下载部分文件，可以使用 -A 参数指定要下载的文件类型，例如 wget -A jpg,png http://example.com/site/ 表示只下载 JPEG 和 PNG 格式的文件。
• 模拟浏览器行为：
  • 可以通过设置一些参数来模拟浏览器的行为，如 -U 参数指定用户代理，--cookies 参数发送 cookies，--referer 参数设置 referer 等。
• 设置代理服务器：
  • 如果需要通过代理服务器下载，可以使用 --proxy 参数指定代理服务器的地址和端口。
• 验证下载文件的完整性：
  • 使用 --checksum 参数可以验证下载文件的 MD5、SHA-1 等校验和，确保文件的完整性。
• 处理下载错误：
  • 通过设置 --retry 参数指定下载失败时的重试次数，--timeout 参数设置连接超时时间等，可以更好地处理下载过程中的错误情况。

四、使用 wget 需注意的事项

1. 尊重网站规定：确保你的使用方式符合目标网站的使用条款和规定，避免未经授权的大量下载等违规行为。

2. 网络流量和带宽：多线程下载或大规模下载可能会消耗大量网络流量和带宽，注意不要对网络环境造成过大负担。
3. 服务器负载：大量并发使用 wget 可能对某些服务器造成较大负载，要注意合理使用，避免影响他人。
4. 错误处理：下载过程中可能会遇到各种错误，要及时关注并根据错误提示进行相应处理。
5. 文件存储和管理：大量下载的文件要做好合理的存储和管理，避免混乱和丢失。
6. 安全风险：从不可信的来源下载文件可能存在安全风险，要谨慎对待。
7. 参数的正确使用：要确保对各种参数理解正确，避免因参数设置不当导致下载出现问题。
8. 内存和资源占用：尤其是在进行大型或复杂的下载任务时，要留意其对系统内存和其他资源的占用情况。
9. 兼容性问题：不同操作系统或环境下，wget 的表现和一些特性可能存在差异，要提前了解