linux wget 及 PHP wget 获取文件

wget 是一个命令行的下载文件工具,它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。Linux用户经常需要使用它。下此介绍几个wget使用的技巧。 wget技巧大全: 1>下载 http://www.linux.com 网站上 packs 目录中的所有文件 $ wget -r -np -nd http://www.linux.com/packs/ -np 的作用是不遍历父目录 -nd 表示不在本机重新创建目录结构。 2>下载整个http或者ftp站点 $ wget -r -x http://www.linux.com -x  的作用强制建立服务器上一模一样的目录 这个命令会按照递归的下载服务器上所有的目录和文件，就是下载整个网站。在下载的时候，被下载网站指向的所有地址都会被下载，如果这个网站引用了其他网站，被引用的网站也会被下载下来！！！ 注意: 可以用-l number参数来指定下载的层次。例如只下载两层，那么使用-l 2。 如: wget -r -x -l 2 http://www.linux.com 3>wget选择性的只下载某类文件 $ wget -r -np -nd –accept=iso http://www.linux.com/i386/ –accept=iso 选项，这指示wget仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名，只需用逗号分隔即可。 4>批量下载 wget -i downloads.txt 如果有多个文件需要下载，那么把所有需要下载文件的地址放到downloads.txt中(每个文件的URL写一行)，然后 wget 就会自动为你下载所有文件了。 5>断点续传 $ wget -c -t 100 -T 120 http://www.linux.com/big-file.iso 当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。wget的断点续传是自动的。 -c 选项的作用为断点续传。 -t 参数表示重试次数(例如需要重试100次，那么就写-t 100，如果设成-t 0，那么表示无穷次重试，直到连接成功。) -T 参数表示超时等待时间，例如-T 120，表示等待120秒连接不上就算超时。 6>镜像一个网站 $ wget -m -k (-H) http://www.linux.com/ 如果网站中的图像是放在另外的站点，那么可以使用 -H 选项。 在php中，wget还是用到的比较多的，因为有时候会抓一下资源或者图片等等， 这个时候file_get_contents就不大好用了，而且wget可以设置抓取的次数，时间等等， 这些都是file_get_contents所不具备的， wget是shell命令，php如果想要调用直接用exec()函数就好了。 exec("wget -i xxxxx xxxxx");