1
、在bash shell中设定代理
.basrhc:
export http_proxy="166.111.53A.167:3128"
export ftp_proxy="166.111.53A.167:3128"
%DON‘T ask me why the proxy above is invaild, it's just an example^_*
2、对于wget可以单独建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128
3、用wget下载整个站点
#wget -k -m -np -d --proxy-user=usrname --proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, --convert-links 将绝对链接转换为相对链接。
-m 就等价于 递归下载+除非远程文件较新,否则不再取回+最大递归深度无限+不删除“.listing”文件。
-np, --no-parent 不搜索上层目录。
注意其中-d只是输出下载信息,换成-q就变成“安静”下载了。
另外还有两个选项可能会有用到。
-b:让wget在后台运行
-c:断点续传
.basrhc:
export http_proxy="166.111.53A.167:3128"
export ftp_proxy="166.111.53A.167:3128"
%DON‘T ask me why the proxy above is invaild, it's just an example^_*
2、对于wget可以单独建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128
3、用wget下载整个站点
#wget -k -m -np -d --proxy-user=usrname --proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, --convert-links 将绝对链接转换为相对链接。
-m 就等价于 递归下载+除非远程文件较新,否则不再取回+最大递归深度无限+不删除“.listing”文件。
-np, --no-parent 不搜索上层目录。
注意其中-d只是输出下载信息,换成-q就变成“安静”下载了。
另外还有两个选项可能会有用到。
-b:让wget在后台运行
-c:断点续传