wget 命令

抄自:http://doc.orz520.com/a/doc/2011/0526/2035350.html?from=haosou


Wget是一个十分常用命令行下载工 具,Wget使用格式如下:

    #wget [选项] [下载地址]
    Wget常用参数
    -b:后台下载,Wget默认的是把文件下载到当前目录。
    -O:将文件下载到指定的目录中。
    -P:指定保存文件的目录。
    -N:don’t re-retrieve files unless newer than
    -t:尝试连接次数,当Wget无法与服务器建立连接时,尝试连接多少次。
    -c:断点续传,如果下载中断,那么连接恢复时会从上次断点开始下载。
    此外,Wget还可下载整个 网站,如下载http://man.chinaunix.net整个Man手册中心。
    只需输入如下命令即可: #wget -r -p -np -k http://man.chinaunix.net 其中-r参数是指使用递归下载,
    -p是指下载所有显示完整网页所以需要的文件,如图片等,-np是指不搜索上层目录,-k则 是指将绝对链接转换为相对链接。
    =================================================================================
    用过Linux的应该都知道wget这个命令,这个命令常常用来下载文件,wget还有许多参数,可以完成很多的任务,如今天说的创建镜像站点。
    此 方法能将所有文件(网页、图片、CSS、音/视频等)都下载下来,并把网页中的链接改为相对链接,这样就避免了镜像中的链接仍旧指向原来的网站而不能正常 地显示。
    只需要输入:wget -mk -w 20 http://www.example.com/ 命令就行了。
    命令行 中-w 20代表间隔20秒下载一个文件,这样可以避免网站的访问过于频繁。-m 是镜像
    同时也可以使用其他的一些参数:-c 是继续传送 , -p 是下载媒体文件,比如图片, -q 是安静模式, -b 是后台运行
    一些其他常用的wget用法:
    wget -i filename.txt
    此命令常用于批量下载,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。
    如果你想发掘其中更多的功能的话,建议你去看wget的手册(man wget),在那里你会找到更多的选项,例如随机延迟,设置用户代理,发送cookie到网站上等等。
    ===================================================================================
    wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。
    命令格式:
    wget [options] [URL]
    启动类参数
    这一类参数主要提供软件的一些基本信息。
    -V,–version 显示软件版本号然后退出;
    -h,–help显示软件帮助信息;
    -e,–execute=COMMAND 执行一个 “.wgetrc”命令
    以上每一个功能有长短两个参数,长短功能一样,都可以使用。需要注意的是,这里的-e参数是执 行一个.wgettrc的命令,.wgettrc命令其实是一个参数列表,直接将软件需要的参数写在一起就可以了。
    文件处理参数
    这类参数定义软件log文件的输出方式等。
    -o,–output-file=FILE 将软件输出信息保存到文件;
    -a,–append-output=FILE将软件输出信息追加到文件;
    -d,–debug显示输出信息;
    -q,–quiet 不显示输出信息;
    -i,–input-file=FILE 从文件中取得URL;
    例1:下载www.baidu.com首页并且显示下载信息
    wget -d http://www.baidu.com
    例2:下载www.baidu.com首页并且不显示任何信息
    wget -q http://www.baidu.com
    例3:下载filelist.txt中所包含的链接的所有文件
    wget -i filelist.txt
    wget -np -m -l 5 http://www.baidu.com //不下载本站所链接的其它站点内容,5级目录结构
    下载参数
    下载参数定义下载重复次数、保存文件名等。
    -t,–tries=NUMBER 是否下载次数(0表示无穷次)
    -O –output-document=FILE下载文件保存为别的文件名
    -nc, –no-clobber 不要覆盖已经存在的文件
    -N,–timestamping只下载比本地新的文件
    -T,–timeout=SECONDS 设置超时时间
    -Y,–proxy=on/off 关闭代理
    例:下载www.baidu.com的首页并将下载过程中的的输入信息保存到test.htm 文件中
    wget -o test.htm http://www.baidu.com
    目录参数
    目录参数主要设置下载文件保存目录与原来文件(服务器文件)的目录对应关系;
    -nd –no-directories 不建立目录
    -x,–force-directories 强制建立目录
    可能现在我们对这里的目录还不是很了解,我们来看一个举例
    例:下载www.baidu.com的首页,并且保持网站结构
    wget -x http://www.baidu.com
    HTTP参数
    HTTP参数设置一些与HTTP下载有关的属性。
    –http-user=USER设置HTTP用户
    –http-passwd=PASS设置HTTP密码
    –proxy-user=USER设置代理用户
    –proxy-passwd=PASS设置代理密码
    以上参数主要设置HTTP和代理的用户、密码;
    递归参数设置
    在下载一个网站或者网站的一个目录的时候,我们需要知道的下载的层次,这些参数就可以设置。
    -r,–recursive 下载整个网站、目录(小心使用)
    -l,–level=NUMBER 下载层次
    例:下载整个网站
    wget -r http://www.baidu.com
    递归允许与拒绝选项参数
    下载一个网站的时候,为了尽量快,有些文件可以选择下载,比如图片和声音,在这里可以设置。
    -A,–accept=LIST 可以接受的文件类型
    -R,–reject=LIST拒绝接受的文件类型
    -D,–domains=LIST可以接受的域名
    –exclude-domains=LIST拒绝的域名
    -L,–relative 下载关联链接
    –follow-ftp 只下载FTP链接
    -H,–span-hosts 可以下载外面的主机
    -I,–include-directories=LIST允许的目录
    -X,–exclude-directories=LIST 拒绝的目录
    如何设定wget所使用的代理服务器
    wget可以使用用户设置文件”.wgetrc”来读取很多设置,我们这里主要利用这个文件来是设置代理服务器。使用者用什么用户登录,那么什么用户主目录下的”.wgetrc”文件就起作用。例如,”root”用户如果想使用”.wgetrc” 来设置代理服务器,”/root/.wgetrc”就起作用,下面给出一个”.wgetrc”文件的内容,读者可以参照这个例子来编写自己的”wgetrc”文件:
    http-proxy = 111.111.111.111:8080
    ftp-proxy = 111.111.111.111:8080
    这两行的含义是,代理服务器IP地址为:111.111.111.111,端口号为:80。第 一行指定HTTP协议所使用的代理服务器,第二行指定FTP协议所使用的代理服务器。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值