Linux wget命令

1.wget命令

wget命令用来从指定的URL下载文件。wget非常稳定，它在带宽很窄的情况下和不稳定网络中有很强的适应性，如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完毕。如果是服务器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

1.1语法

wget (选项）（参数）

1.2选项

 

选项	描述
-a<日志文件>	在指定的日志文件中记录资料的执行过程；
-A<后缀名>	指定要下载文件的后缀名，多个后缀名之间使用逗号进行分隔；
-b	进行后台的方式运行wget；
-B<连接地址>	设置参考的连接地址的基地地址；
-c	继续执行上次终端的任务；
-C<标志>	设置服务器数据块功能标志on为激活，off为关闭，默认值为on；
-d	调试模式运行指令；
-D<域名列表>	设置顺着的域名列表，域名之间用“，”分隔；
-e<指令>	作为文件“.wgetrc”中的一部分执行指定的指令；
-h	显示指令帮助信息；
-i<文件>	从指定文件获取要下载的URL地址；
-l<目录列表>	设置顺着的目录列表，多个目录用“，”分隔；
-L	仅顺着关联的连接；
-r	递归下载方式；
-nc	文件存在时，下载文件不覆盖原有文件；
-nv	下载时只显示更新和出错信息，不显示指令的详细执行过程；
-q	不显示指令执行过程；
-nh	不查询主机名称；
-v	显示详细执行过程；
-V	显示wget的版本信息
–passive-ftp	使用被动模式PASV连接FTP服务器；
–follow-ftp	从HTML文件中下载FTP连接文件。

1.3参数

URL：指定要下载文件的URL地址

 2.实例

• 下载到指定目录（wget FTP下载）

wget -P/tmp ftp://user:passwd@url/file

• 仅下载1386目录中所有扩展名为iso的文件，多个扩展名用逗号分隔即可

wget -r -np -nd --accept=iso http://example.com/centos-5/i386/

• 下载单个文件

wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

在下载过程中会显示进度条，包含（下载完成百分比，已经下载的字节，当前下载得到速度，剩余的下载时间）

• 使用wget -O下载并以不同文件名保存

wget -O wordpress.zip http://www.centos.bz/download?id=1

• 使用wget -limit -rate限速下载

wget -limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

• 使用wget -c断点续传(对于我们下载大文件时突然由于网络等原因中断非常有帮助，我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。)

wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

• 使用wget -b后台下载（对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载。 ）

wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

你可以使用以下命令来察看下载进度 

tail -f wget-log 

• 伪装代理名称下载

wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下载链接

• 使用wget –spider测试下载链接
• 使用wget –tries增加重试次数

wget –tries=40 URL

• 使用wget -i下载多个文件

首先，保存一份下载链接文件

cat > filelist.txt

url1

url2

url3

url4

接着使用这个文件和参数-i下载

wget -i filelist.txt

• 使用wget –mirror镜像网站

下面的例子是下载整个网站到本地。

wget –mirror -p –convert-links -P ./LOCAL URL

–miror:开户镜像下载

-p:下载所有为了html页面显示正常的文件

–convert-links:下载后，转换成本地的链接

-P ./LOCAL：保存所有文件和目录到本地指定目录

• 使用wget –reject过滤指定格式下载

wget –reject=gif url

• 用wget -Q限制总下载文件大小

wget -Q5m -i filelist.txt

• 使用wget -r -A下载指定格式文件

wget -r -A.pdf url