wget批量下载文件

wget批量下载文件

参数

参数	解释
-c	断点续传
-r	递归下载，下载指定网页某一目录下（包括子目录）的所有文件
-nd	递归下载时不创建一层一层的目录，把所有的文件下载到当前目录
-np	递归下载时不搜索上层目录, 如wget -c -r www.xianren.org/pub/path/ 没有加参数-np，就会同时下载path的上一级目录pub下的其它文件
-k	将绝对链接转为相对链接，下载整个站点后脱机浏览网页，最好加上这个参数
-L	递归时不进入其它主机，如wget -c -r www.xianren.org/ 如果网站内有一个这样的链接：www.abcd.org 不加参数-L，就会像大火烧山一样，会递归下载www.abcd.org网站
-p	下载网页所需的所有文件，如图片等
-A	指定要下载的文件样式列表，多个样式用逗号分隔
-i	后面跟一个文件，文件内指明要下载的URL
-e robots=off	不考虑 robots.txt 的权限
–limit-rate	–limit-rate=1000k限速下载文件

使用

• 指定文件下载, 文件的url
  wget http://g.hiphotos.baidu.com/zhidao/pic/item/xxxx.jpg

• 指定文件下载
  images.txt 中写入各种图片下载路径 : wget -i images.txt

• 批量下载文件下载所有deb包
  wget http://mirrors.ustc.edu.cn/ubuntu/pool/universe/g/gcc-3.3/ -r -np -nd -A .deb -e robots=off

• 批量下载文件 – 用户名密码认证
  ftp服务器
  wget -c -r -np -k -L -p --ftp-user=username --ftp-password=123456 ftp://192.168.8.123/abc/aaa/*
  http服务器
  wget -c -r -np -k -L -p --http-user=username --http-passwd=123456 http://www.xxx.com/abc/aaa/