wget 命令

抄自：http://doc.orz520.com/a/doc/2011/0526/2035350.html?from=haosou

Wget是一个十分常用命令行下载工 具，Wget使用格式如下：

    #wget [选项] [下载地址]
    Wget常用参数
    -b：后台下载，Wget默认的是把文件下载到当前目录。
    -O：将文件下载到指定的目录中。
    -P：指定保存文件的目录。
    -N：don’t re-retrieve files unless newer than
    -t：尝试连接次数，当Wget无法与服务器建立连接时，尝试连接多少次。
    -c：断点续传，如果下载中断，那么连接恢复时会从上次断点开始下载。
    此外，Wget还可下载整个 网站，如下载http://man.chinaunix.net整个Man手册中心。
    只需输入如下命令即可： #wget -r -p -np -k http://man.chinaunix.net 其中-r参数是指使用递归下载，
    -p是指下载所有显示完整网页所以需要的文件，如图片等，-np是指不搜索上层目录，-k则 是指将绝对链接转换为相对链接。
    =================================================================================
    用过Linux的应该都知道wget这个命令，这个命令常常用来下载文件，wget还有许多参数，可以完成很多的任务，如今天说的创建镜像站点。
    此 方法能将所有文件(网页、图片、CSS、音/视频等)都下载下来，并把网页中的链接改为相对链接，这样就避免了镜像中的链接仍旧指向原来的网站而不能正常 地显示。
    只需要输入：wget -mk -w 20 http://www.example.com/ 命令就行了。
    命令行 中-w 20代表间隔20秒下载一个文件，这样可以避免网站的访问过于频繁。-m 是镜像
    同时也可以使用其他的一些参数：-c 是继续传送 ， -p 是下载媒体文件，比如图片， -q 是安静模式， -b 是后台运行
    一些其他常用的wget用法：
    wget -i filename.txt
    此命令常用于批量下载，把所有需要下载文件的地址放到 filename.txt 中，然后 wget 就会自动为你下载所有文件了。
    如果你想发掘其中更多的功能的话，建议你去看wget的手册（man wget），在那里你会找到更多的选项，例如随机延迟，设置用户代理，发送cookie到网站上等等。
    ===================================================================================
    wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。
    命令格式：
    wget [options] [URL]
    启动类参数
    这一类参数主要提供软件的一些基本信息。
    -V,–version 显示软件版本号然后退出；
    -h,–help显示软件帮助信息；
    -e,–execute=COMMAND 执行一个 “.wgetrc”命令
    以上每一个功能有长短两个参数，长短功能一样，都可以使用。需要注意的是，这里的-e参数是执 行一个.wgettrc的命令，.wgettrc命令其实是一个参数列表，直接将软件需要的参数写在一起就可以了。
    文件处理参数
    这类参数定义软件log文件的输出方式等。
    -o,–output-file=FILE 将软件输出信息保存到文件；
    -a,–append-output=FILE将软件输出信息追加到文件；
    -d,–debug显示输出信息；
    -q,–quiet 不显示输出信息；
    -i,–input-file=FILE 从文件中取得URL；
    例1：下载www.baidu.com首页并且显示下载信息
    wget -d http://www.baidu.com
    例2：下载www.baidu.com首页并且不显示任何信息
    wget -q http://www.baidu.com
    例3：下载filelist.txt中所包含的链接的所有文件
    wget -i filelist.txt
    wget -np -m -l 5 http://www.baidu.com //不下载本站所链接的其它站点内容，5级目录结构
    下载参数
    下载参数定义下载重复次数、保存文件名等。
    -t,–tries=NUMBER 是否下载次数（0表示无穷次）
    -O –output-document=FILE下载文件保存为别的文件名
    -nc, –no-clobber 不要覆盖已经存在的文件
    -N,–timestamping只下载比本地新的文件
    -T,–timeout=SECONDS 设置超时时间
    -Y,–proxy=on/off 关闭代理
    例：下载www.baidu.com的首页并将下载过程中的的输入信息保存到test.htm 文件中
    wget -o test.htm http://www.baidu.com
    目录参数
    目录参数主要设置下载文件保存目录与原来文件（服务器文件）的目录对应关系；
    -nd –no-directories 不建立目录
    -x,–force-directories 强制建立目录
    可能现在我们对这里的目录还不是很了解，我们来看一个举例
    例：下载www.baidu.com的首页，并且保持网站结构
    wget -x http://www.baidu.com
    HTTP参数
    HTTP参数设置一些与HTTP下载有关的属性。
    –http-user=USER设置HTTP用户
    –http-passwd=PASS设置HTTP密码
    –proxy-user=USER设置代理用户
    –proxy-passwd=PASS设置代理密码
    以上参数主要设置HTTP和代理的用户、密码；
    递归参数设置
    在下载一个网站或者网站的一个目录的时候，我们需要知道的下载的层次，这些参数就可以设置。
    -r,–recursive 下载整个网站、目录（小心使用）
    -l,–level=NUMBER 下载层次
    例：下载整个网站
    wget -r http://www.baidu.com
    递归允许与拒绝选项参数
    下载一个网站的时候，为了尽量快，有些文件可以选择下载，比如图片和声音，在这里可以设置。
    -A,–accept=LIST 可以接受的文件类型
    -R,–reject=LIST拒绝接受的文件类型
    -D,–domains=LIST可以接受的域名
    –exclude-domains=LIST拒绝的域名
    -L,–relative 下载关联链接
    –follow-ftp 只下载FTP链接
    -H,–span-hosts 可以下载外面的主机
    -I,–include-directories=LIST允许的目录
    -X,–exclude-directories=LIST 拒绝的目录
    如何设定wget所使用的代理服务器
    wget可以使用用户设置文件”.wgetrc”来读取很多设置，我们这里主要利用这个文件来是设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的”.wgetrc”文件就起作用。例如，”root”用户如果想使用”.wgetrc” 来设置代理服务器，”/root/.wgetrc”就起作用，下面给出一个”.wgetrc”文件的内容，读者可以参照这个例子来编写自己的”wgetrc”文件：
    http-proxy = 111.111.111.111:8080
    ftp-proxy = 111.111.111.111:8080
    这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第 一行指定HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。