wget资料汇总

最近最常用的linux命令当属wget了.做镜像网站wget非常好用.虽然应用不当会出现把硬盘完全占满让你服务器崩溃…..特地找了一圈收集了一些wget方面的资料.存档,省的以后还要到处跑~~最近有想法直接做个文档中心得了….Wget是一个十分常用命令行下载工 具，Wget使用格式如下：

#wget [选项] [下载地址]

Wget常用参数

-b：后台下载，Wget默认的是把文件下载到当前目录。

-O：将文件下载到指定的目录中。

-P：指定保存文件的目录。

-N：don’t re-retrieve files unless newer than

-t：尝试连接次数，当Wget无法与服务器建立连接时，尝试连接多少次。

-c：断点续传，如果下载中断，那么连接恢复时会从上次断点开始下载。

此外，Wget还可下载整个 网站，如下载http://man.chinaunix.net整个Man手册中心。

只需输入如下命令即可： #wget -r -p -np -k http://man.chinaunix.net 其中-r参数是指使用递归下载，

-p是指下载所有显示完整网页所以需要的文件，如图片等，-np是指不搜索上层目录，-k则 是指将绝对链接转换为相对链接。

=================================================================================

用过Linux的应该都知道wget这个命令，这个命令常常用来下载文件，wget还有许多参数，可以完成很多的任务，如今天说的创建镜像站点。

此 方法能将所有文件(网页、图片、CSS、音/视频等)都下载下来，并把网页中的链接改为相对链接，这样就避免了镜像中的链接仍旧指向原来的网站而不能正常 地显示。

只需要输入：wget -mk -w 20 http://www.example.com/ 命令就行了。

命令行 中-w 20代表间隔20秒下载一个文件，这样可以避免网站的访问过于频繁。-m 是镜像

同时也可以使用其他的一些参数：-c 是继续传送 ， -p 是下载媒体文件，比如图片， -q 是安静模式， -b 是后台运行

一些其他常用的wget用法：

wget -i filename.txt

此命令常用于批量下载，把所有需要下载文件的地址放到 filename.txt 中，然后 wget 就会自动为你下载所有文件了。

如果你想发掘其中更多的功能的话，建议你去看wget的手册（man wget），在那里你会找到更多的选项，例如随机延迟，设置用户代理，发送cookie到网站上等等。

===================================================================================

wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。
命令格式：
wget [options] [URL]
启动类参数
这一类参数主要提供软件的一些基本信息。
-V,–version 显示软件版本号然后退出；
-h,–help显示软件帮助信息；
-e,–execute=COMMAND 执行一个 “.wgetrc”命令
以上每一个功能有长短两个参数，长短功能一样，都可以使用。需要注意的是，这里的-e参数是执 行一个.wgettrc的命令，.wgettrc命令其实是一个参数列表，直接将软件需要的参数写在一起就可以了。
文件处理参数
这类参数定义软件log文件的输出方式等。
-o,–output-file=FILE 将软件输出信息保存到文件；
-a,–append-output=FILE将软件输出信息追加到文件；
-d,–debug显示输出信息；
-q,–quiet 不显示输出信息；
-i,–input-file=FILE 从文件中取得URL；
例1：下载www.baidu.com首页并且显示下载信息
wget -d http://www.baidu.com
例2：下载www.baidu.com首页并且不显示任何信息
wget -q http://www.baidu.com
例3：下载filelist.txt中所包含的链接的所有文件
wget -i filelist.txt
wget -np -m -l 5 http://www.baidu.com //不下载本站所链接的其它站点内容，5级目录结构
下载参数
下载参数定义下载重复次数、保存文件名等。
-t,–tries=NUMBER 是否下载次数（0表示无穷次）
-O –output-document=FILE下载文件保存为别的文件名
-nc, –no-clobber 不要覆盖已经存在的文件
-N,–timestamping只下载比本地新的文件
-T,–timeout=SECONDS 设置超时时间
-Y,–proxy=on/off 关闭代理
例：下载www.baidu.com的首页并将下载过程中的的输入信息保存到test.htm 文件中
wget -o test.htm http://www.baidu.com
目录参数
目录参数主要设置下载文件保存目录与原来文件（服务器文件）的目录对应关系；
-nd –no-directories 不建立目录
-x,–force-directories 强制建立目录
可能现在我们对这里的目录还不是很了解，我们来看一个举例
例：下载www.baidu.com的首页，并且保持网站结构
wget -x http://www.baidu.com
HTTP参数

HTTP参数设置一些与HTTP下载有关的属性。
–http-user=USER设置HTTP用户
–http-passwd=PASS设置HTTP密码
–proxy-user=USER设置代理用户
–proxy-passwd=PASS设置代理密码
以上参数主要设置HTTP和代理的用户、密码；
递归参数设置
在下载一个网站或者网站的一个目录的时候，我们需要知道的下载的层次，这些参数就可以设置。
-r,–recursive 下载整个网站、目录（小心使用）
-l,–level=NUMBER 下载层次
例：下载整个网站
wget -r http://www.baidu.com
递归允许与拒绝选项参数
下载一个网站的时候，为了尽量快，有些文件可以选择下载，比如图片和声音，在这里可以设置。
-A,–accept=LIST 可以接受的文件类型
-R,–reject=LIST拒绝接受的文件类型
-D,–domains=LIST可以接受的域名
–exclude-domains=LIST拒绝的域名
-L,–relative 下载关联链接
–follow-ftp 只下载FTP链接
-H,–span-hosts 可以下载外面的主机
-I,–include-directories=LIST允许的目录
-X,–exclude-directories=LIST 拒绝的目录
如何设定wget所使用的代理服务器
wget可以使用用户设置文件”.wgetrc”来读取很多设置，我们这里主要利用这个文件来 是设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的”.wgetrc”文件就起作用。例如，”root”用户如果想使用”.wgetrc” 来设置代理服务器，”/root/.wgetrc”就起作用，下面给出一个”.wgetrc”文件的内容，读者可以参照这个例子来编写自己 的”wgetrc”文件：
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第 一行指定HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。

转自:

[TypEngine] http://typengine.com/content/wget%E7%9A%84%E4%BD%BF%E7%94%A8%E5%8F%82%E6%95%B0

[VPSER] http://www.vpser.net/uncategorized/linux-wget-mirror.html

[百度] http://baike.baidu.com/view/1312507.htm?fr=ala0_1