linux之 wget curl

 

linux 下载命令 wget -curl

可以使用下面的命令 wget -r -p -k -np http://www.163.com/, -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的.
另外还有其他的一些参数可以使用:

-c表示断点续传

-t 100表示重试100次,-t 0表示无穷次重试

另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令 wget -i download.txt.

--reject=avi,rmvb 表示不下载avi,rmvb的文件,--accept=jpg,jpeg,表示只下载jpg,jpeg的文件.

可以在用户目录下建立一个.wgetrc的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 --proxy=on,如果需要密码,再加上下面的参数 --proxy-user=username, --proxy-passwd=password


A。使用wget工具

linux所以的主要版本都自带了wget这个下载工具.

bash$ wget http://place.your.url/here

它还能控制ftp来下载整个web站点的各级目录,当然,如果你不小心,可能会把整个网站以及其他和他做链接的网站全部下载下来.

bash$ wget -m http://target.web.site/subdirectory

由于这个工具具有很将的下载能力,所以可以在服务器上把它用作镜像网站的工具.让它按照”robots.txt”的规定来执行.

有很多参数用来控制它如何正确地做镜像,可以限制链接的类型和下载文件的类型等等.例如:只下载有联系的链接并且忽略GIF图片:

bash$ wget -m -L –reject=gif http://target.web.site/subdirectory

wget也能够实现端点续传(-c参数),当然,这种操作是需要远程服务器支持的.

bash$ wget -c http://the.url.of/incomplete/file

可以把端点续传和镜像功能结合起来,这样可以在以前断过多次的情况下继续镜像一个有大量选择性文件的站点.如何自动实现这个目的我们在后面会讨论得更多.

如果你觉得下载时老是断线会影响你办公的话,你可以限制wget重试的次数.

bash$ wget -t 5 http://place.your.url/here

这样重试五次后就放弃了.用”-t inf”参数表示永远不放弃.不停地重试.

B．那对于代理服务该怎么办呢?

可以使用http代理的参数或者在.wgetrc配置文件里指定一个如何通过代理去下载的途径.但是有这么一个问题,

如果通过代理来进行端点续传的话可能会有几次失败.如果有一次通过代理下载的过程发生中断,那么代理服务器上缓存里保存是那个完整的

文件拷贝.所以当你用”wget -c”来下载剩余部分的时候代理服务器查看它的缓存,并错误地认为你已经下载了整个文件.于是就发出了错误的信号.

这个时候你可以用添加一个特定的请求参数来促使代理服务器清除他们的缓存:

bash$ wget -c –header=”Pragma: no-cache” http://place.your.url/here

这个”–header”参数能够以各种数字，各种方式添加。通过它我们可以更改

web服务器或者代理服务器的某些属性。有些站点不提供外部连接的文件服务，只有通过同一个站点上其他的一些页面时内容

才会被提交。这个时候你可以用加上”Referer:”

参数：

bash$ wget –header=”Referer: http://coming.from.this/page” http://surfing.to.this/page

有些特殊的网站只支持某种特定的浏览器，这个时候可以用”User-Agent:”参数

bash$ wget –header=”User-Agent: Mozilla/4.0 (compatible; MSIE 5.0;Windows NT; DigExt)” http://msie.only.url/here

C．那我怎么设定下载时间呢？

如果你需要在你的办公电脑上通过和其他同事共享的一个连接来下载一些很大的文件，而且你希望你的同事不会因为网络速度的减慢而收到影响，

那你就应该尽量避开高峰时段。当然,不需要在办公室里等到所以人都走掉，也不需要在家里用完晚饭后还惦记着要上网下载一次。

用at来就可以很好的定制工作时间：

bash$ at 2300

warning: commands will be executed using /bin/sh

at> wget http://place.your.url/here

at> press Ctrl-D

这样，我们设定了下载工作在晚上11点进行。为了使这个安排能够正常进行，请确

认atd这个后台程序正在运行。

D．下载要花很多时间？

当你需要下载大量的数据，而且你又没有享有足够的带宽,这个时候你会经常发现在你安排的下载任务还没有完成，一天的工作却又要开始了。

作为一个好同事，你只能停掉了这些任务，而开始另外的工作。然后你又需要反复地重复使用”wget -c”来完成你的下载。这样肯定太繁琐了，

所以最好是用crontab来自动执行。创建一个纯文本文件，叫做”crontab.txt”,包含下面的内容：

0 23 * * 1-5 wget -c -N http://place.your.url/here

0 6 * * 1-5 killall wget

这个crontab文件指定某些任务定期地执行。前五列声明是什么时候执行这个命令，而每行的剩余部分则告诉crontab执行什么内容。

前两列指定了每天一到晚上11点就开始用wget下载，一到早上6点就停止一切wget

下载。第三四列的*表示每个月的每一天都执行这个任务。第五列则指定了一个星期的哪几天来执行这个程序。 –”1-5″表示从星期一

到星期五。

这样在每个工作日的晚上11点，下载工作开始，到了上午的6点，任何的wget任务

就被停掉了。你可以用下面的命令来执行crontab：

bash$ crontab crontab.txt

wget的这个”-N”参数将会检查目标文件的时间戳，如果匹配了，下载程序就会停止，因为它说明整个文件已经下载完全了。

用”crontab -r”可以删除这个计划安排。我已经多次采用这种方法，通过共享的电话拨号来下载过很多的ISO镜像文件,还是

比较实用的。

E．如何下载动态变化的网页

有些网页每天都要根据要求变化好几次.所以从技术上讲,目标不再是一个文件,它没有文件长度.因此”-c”这个参数也就失去了意义.

例如:一个PHP写的并且经常变动的linux周末新闻网页:

bash$ wget http://lwn.net/bigpage.php3

我办公室里的网络条件经常很差,给我的下载带了很大的麻烦,所以我写了个简单的脚本来检测动态页面是否已经完全更新了.

#!/bin/bash

#create it if absent

touch bigpage.php3

#check if we got the whole thing

while ! grep -qi bigpage.php3

do

rm -f bigpage.php3

#download LWN in one big page

wget http://lwn.net/bigpage.php3

done

这个脚本能够保证持续的下载该网页,直到网页里面出现了”",这就表示该文件已经完全更新了.



F．对于ssl和Cookies怎么办？

如果你要通过ssl来上网,那么网站地址应该是以”https://”来开头的.在这样的情况下你就需要另外一种下载工具,叫做curl，它能够

很容易获得.有些网站迫使网友在浏览的时候必须使用cookie.所以你必须从在网站上得到的那个Cookie里面得到”Cookie:”这个参数.这样才

能保证下载的参数正确.对于lynx和Mozilla的Cookie的文件格式,用下面的:

bash$ cookie=$( grep nytimes ~/.lynx_cookies |awk {printf(”%s=%s;”,$6,$7)} )

就可以构造一个请求Cookie来下载http://www.nytimes.com上的内容.当然,你要已经用这个浏览器在该网站上完成注册.

w3m使用了一种不同的,更小巧的Cookie文件格式:

bash$ cookie=$( grep nytimes ~/.w3m/cookie |awk {printf(”%s=%s;”,$2,$3)} )

现在就可以用这种方法来下载了:

bash$ wget –header=”Cookie: $cookie” http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

或者用curl工具:

bash$ curl -v -b $cookie -o supercomp.html http://www.nytimes.com/reuters/technology/tech-tech-supercomput.htm

G．如何建立地址列表？

到现在为止我们下载的都是单个文件或者是整个网站.有的时候我们需要下载某个网页上链接的大量文件,但没有必要把它整个网站

都镜像下来.比如说我们想从一个依次排列的100首歌里面下载前20首.注意,这里”–accept”和”–reject”参数是不会

起作用的,因为他们只对文件操作起作用.所以一定要用”lynx -dump”参数来代替.

bash$ lynx -dump ftp://ftp.ssc.com/pub/lg/ |grep gz$ |tail -10 |awk {print $2} > urllist.txt

lynx的输出结果可以被各种GNU文本处理工具过虑.在上面的例子里,我们的链接地址是以”gz”结尾的,并且把最后10个文件地址放到

urllist.txt文件里.然后我们可以写一个简单的bash脚本来自动下载这个文件里的目标文件:

bash$ for x in $(cat urllist.txt)

> do

> wget $x

> done

这样我们就能够成功下载Linux Gazette网站(ftp://ftp.ssc.com/pub/lg/)上的最新10个论题.



H．扩大使用的带宽

如果你选择下载一个受带宽限制的文件,那你的下载会因为服务器端的限制而变得很慢.下面这个技巧会大大缩短下载的过程.但这个技巧

需要你使用curl并且远程服务器有多个镜像可以供你下载.例如,假设你想从下面的三个地址下载Mandrake 8.0:

url1=http://ftp.eecs.umich.edu/pub/linux/mandrake/iso/Mandrake80-inst.iso

url2=http://ftp.rpmfind.net/linux/Mandrake/iso/Mandrake80-inst.iso

url3=http://ftp.wayne.edu/linux/mandrake/iso/Mandrake80-inst.iso

这个文件的长度是677281792个字节,所以用curl程序加”–range”参数来建立三个同时进行的下载:

bash$ curl -r 0-199999999 -o mdk-iso.part1 $url1 &

bash$ curl -r 200000000-399999999 -o mdk-iso.part2 $url2 &

bash$ curl -r 400000000- -o mdk-iso.part3 $url3 &

这样就创建了三个后台进程.每个进程从不同的服务器传输这个ISO文件的不同部分.这个”-r”参数指定目标文件的字节范围.当这三个

进程结束后,用一个简单的cat命令来把这三个文件衔接起来– cat mdk-iso.part? > mdk-80.iso.(强烈建议在刻盘之前先检查md5)

你也可以用”–verbose”参数来使每个curl进程都有自己的窗口来显示传输的过程.

 

linux命令行下载文件以及常用工具：wget、Prozilla、MyGet、Linuxdown、Curl、Axel

 本文介绍常用的几种命令行式的下载工具：wget、Prozilla、MyGet、Linuxdown、Curl、Axe

  

  1. Wget     

      Wget是一个十分常用命令行下载工具，多数Linux发行版本都默认包含这个工具。如果没有安装可在    http://www.gnu.org/software/wget/wget.html 下载最新版本。

    1.1 编译安装： 

    #tar zxvf wget-1.9.1.tar.gz 
    #cd wget-1.9.1 #./configure 
    #make #make install 

    1.2 Wget使用格式如下：

     #wget [选项] [下载地址] 1.Wget常用参数

     -b：后台下载，Wget默认的是把文件下载到当前目录。

     -O：将文件下载到指定的目录中。

     -P：保存文件之前先创建指定名称的目录。

     -t：尝试连接次数，当Wget无法与服务器建立连接时，尝试连接多少次。

    -c：断点续传，如果下载中断，那么连接恢复时会从上次断点开始下载。  

     例如下载wineqq2013版本：

     wget www.longene.org/download/WineQQ2013-20131120-Longene.deb   

     1.3 除了上述常用功能，Wget还支持HTTP和FTP代理功能，编辑其配置文件“/etc/wgetrc”即可。

       具体方法是使用VI编辑器打开上述文件，将 “http_proxy”和“ftp_proxoy”前的#去掉，然后在这两项后输入相应的代理服务器的地址，保存退出即可。

       此外，Wget还可下载整个网站，如下载 http://man.chinaunix.net 整个Man手册中心。只需输入如下命令即可： #wget -r -p -np -k http://man.chinaunix.net 
      其中-r参数是指使用递归下载，-p是指下载所有显示完整网页所以需要的文件，如图片等，-np是指不搜索上层目录，-k则是指将绝对链接转换为相对链接。

     2.Prozilla     

       Prozilla也是一个十分流行的命令行下载工具，支持多线程下载和断点续传功能。可到 http://prozilla.genesys.ro/ 下载最新的1.3.7.4安装包。

    2.1 安装： 

    #tar zxvf prozilla-1.3.7.4.tar.gz 
    #cd prozilla-1.3.7.4 
    #./configure #make 
    #make install 

   2.2 Prozilla命令格式如下：

    #proz [参数] [下载地址] 常用的选项有：

    -k=n ：设置n个线程下载。不加此参数指定线程数，Prozilla默认为4线程下载。

     -P, --directory-prefix=DIR：指定将下载的文件保存在DIR/目录。

     -r, --resume：继续下载未完成的文件。如果要指定线程数下载可用如下命令： #proz -k=5 http://64.12.204.21/pub/mozilla.org/firefox/releases/1.0/linux-i686/zh-CN/firefox-1.0.installer.tar.gz
      这样便以5线程进行文件的下载，并将文件保存到当前目录。和Wget一样，Prozilla也提供了续传功能，下载中断后，重新输入上述命令，就会出现提示续传，按R键就可继续下载了。

  
    3.   MyGet     

      MyGet目标设计成一个可扩展的，拥有丰富界面的多线程下载工具，它支持HTTP、FTP、HTTPS、MMS、RTSP等协议。在http://myget.sourceforge.net/release/myget-0.1.0.tar.bz2 下载其最新版本0.1.0。

     3.1 命令安装：
     #tar jxvf myget-0.1.0.tar.bz2 
    #cd myget-0.1.0 #./configure 
    #make 
    #make install 
     3.2 MyGet命令格式如下：

    #mytget [选项] [下载地址] 常用的选项：

     -d [目录]：指定下载到的文件在本地存放的位置，默认当前目录。

     -f [文件]：指定下载文件名称。

     -h：帮助选项。

     -n [线程数]：下载线程数量，默认为4个。

     -x [代理服务器地址]：设置代理服务器地址，如“-x  http://user:password@host:port ”。 

     MyGet常用的形式如下： #mytget －d /root/ -n 10 http://lumaqq.linuxsir.org/download/patch/lumaqq_2004t_patch_2005.07.21.00.00.zip
         
     4 . Linuxdown     

      Linuxdown是一个命令行多线程下载工具，最多可支持30线程的下载。在 https://gro.clinux.org/frs/download.php/1015/linuxdown-1.0.0.tar.gz 下载最新的1.1.0版本。

     4.1  编译安装： 

    #tar zxvf linuxdown-1.1.0.tar.gz 
    #cd dandelion/ 
    #make 
    #make install 

    4.2  linuxdown格式为：

    #linuxdown [下载地址] [选项] [线程数]    

    需要注意的是下载地址和选项都需要西文引号括起来，线程数不可超过30个。一个典型的下载如下：

     linuxdown "http://lumaqq.linuxsir.org/download/patch/lumaqq_2004t_patch_2005.07.21.00.00.zip" 30

   5.  Curl     Curl也是Linux下不错的命令行下载工具，小巧、高速，唯一的缺点是不支持多线程下载。在 http://curl.haxx.se/download/curl-7.14.0.tar.gz下载最新版本。

   5.1编译安装：       

   #tar zxvf curl-7.14.0.tar.gz 
    #cd curl-7.14.0/ 
    #./configure 
    #make 
    #make test 
    #make install 

   5.2  Curl使用格式如下： 

     #curl [选项][下载地址] Curl典型下载如下： #curl -O http://10.1.27.10/~kennycx/tools/lumaqq_2004-linux_gtk2_x86_with_jre.tar.gz
     使用Curl下载一个文件并保存到当前目录。此外，Curl虽然不支持多线程下载，但它可同时下载多个文件或下载文件的某一部分，可使用如下命令实现：

     #curl -r 0-199 http://www.netscape.com/
      获得文件的前200 bytes。     对于常用的代理下载Curl也可轻松实现，具体操作如下：

      #curl -x 10.1.27.10:1022  ftp://ftp.funet.fi/README
      使用代理地址为10.1.27.10端口为1022的代理服务器下载一个文件。

       #curl -U user:passwd -x 10.1.27.10:1022 ftp://ftp.funet.fi/README
      如果代理服务器需要特别的验证，则需要在user:passwd处输入合法的帐号和密码。 
    

      6. Axel    

       Axel是命令行下的多线程下载工具，支持断点续传，速度通常情况下是Wget的几倍。可在  http://www.linuxfans.org/nuke/modules.php?name=Site_Downloads&op=mydown&did=1697下载。

     6.1 编译安装： 

    #tar zxvf axel-1.0a.tar.gz 
    #cd axel-1.0a/ 
    #./configure 
    #make 
    #make install  

     6.2 基本的用法如下：

     #axel [选项] [下载目录] [下载地址] 一个典型下载如下： #alex -n 10 -o /home/kennycx/http://10.1.27.10/~kennycx/tools/lumaqq_2004-linux_gtk2_x86_with_jre.tar.gz
    用10线程将指定路径的文件下载到/home/kennycx/这个目录下。