wget下载

下载整个网站，可以使用下面的命令

wget-r -p -k -np http://[网址]

-r 表示递归下载,会下载所有的链接,不要单独使用这个参数,要加上 -np这个参数,表示不下载别的站点的链接.

-k表示将下载的网页里的链接修改为本地链接.

-p表示获得显示网页所需的元素,比如图片什么的.
另外还有其他的一些参数可以使用:
-c表示断点续传
-t 100表示重试100次,-t 0表示无穷次重试

另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令wget-i download_list.txt.

–reject=avi,rmvb 表示不下载avi,rmvb的文件,–accept=jpg,jpeg,表示只下载jpg,jpeg的文件.

可以在用户目录下建立一个.wgetrc 的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名–),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 –proxy=on,如果需要密码,再加上下面的参数 –proxy-user=username, –proxy-passwd=password

# bearscafe Says:
03月 5th, 2008 at 1:30 pm

1、在bash shell中设定代理
.basrhc:
export http_proxy=”166.111.53A.167:3128〃
export ftp_proxy=”166.111.53A.167:3128〃
%DON‘T ask me why the proxy above is invaild, it’s just an example^_*

2、对于wget可以单独建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128

3、用wget下载整个站点
#wget-k -m -np -d –proxy-user=usrname –proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, –convert-links 将绝对链接转换为相对链接。
-m 就等价于 递归下载+除非远程文件较新，否则不再取回+最大递归深度无限+不删除“.listing”文件。
-np, –no-parent 不搜索上层目录。
注意其中-d只是输出下载信息，换成-q就变成“安静”下载了。

另外还有两个选项可能会有用到。
-b：让wget在后台运行
-c：断点续传

wget本身没有专门设置代理的命令行参数，但是有一个”-e”参数，可以在命令行上指定一个原本出现在”.wgetrc”中的设置。于是可以变相在命令行上指定代理:

wget-e “http_proxy=http://:/” http://www.google.com

另一个办法就是先设置环境变量:

set http_proxy=http://:/

今天无聊,下载了c-faq,总共下载时间用了13.5s,不得不佩服wget的强大.总有一天会看wget的源码的,最近.