wget结合xargs实现并发下载

cat ips.txt | xargs -n 1 -P 0 -I {} wget -q -e http_proxy={} -O {} "http://domain/path/to/url" 

以上命令可实现并发的从多台服务器上下载同一个文件，是我以前在网上看被人用过的。这有什么用呢？

比如你的服务有多台机子，想确定一下某个文件是否在每个服务器上是否都能正常下载，就可以这么搞。把下载下来的文件计算一下md5sum，如果发现从某个ip下载的文件

md5和其他不一样，那多半这个文件就出文件了。

解释下原理，备忘：

xargs -p 可以开启多个进程，这里就已经实现并发了

  --max-procs=max-procs, -P max-procs
              Run up to max-procs processes at a time; the default is 1.  If max-procs is 0, xargs will run as many processes as possible at  a  time.   Use  the  -n
              option with -P; otherwise chances are that only one exec will be done.

wget -e "http_proxy=ip..." 这个时间绑定host下载（其实是通过给wget指定一个代理来实现的）

有了这两个功能，就可以并发的从多台服务器上下载同一个文件了。