wget使用 && wget忽略robots.txt

Wget常用参数 
      ◆-b：后台下载，Wget默认的是把文件下载到当前目录。 
      ◆-O：将文件下载到指定的目录中。 
      ◆-P：保存文件之前先创建指定名称的目录。 
      ◆-t：尝试连接次数，当Wget无法与服务器建立连接时，尝试连接多少次。 
      ◆-c：断点续传，如果下载中断，那么连接恢复时会从上次断点开始下载。

     HTTP和FTP代理功能，编辑其配置文件“/etc/wgetrc”即可。具体方法是使用VI编辑器打开上述文件，将 “http_proxy”和“ftp_proxoy”前的#去掉，然后在这两项后输入相应的代理服务器的地址，保存退出即可。

     Wget还可下载整个 网站，如下载http://man.chinaunix.net整个Man手册中心。只需输入如下命令即可： #wget -r -p -np -k http://man.chinaunix.net 

    其中-r   参数是指使用递归下载，
       -p   是指下载所有显示完整网页所以需要的文件，如图片等，
       -np  是指不搜索上层目录，-k则是指将绝对链接转换为相对链 接。

wget默认会根据网站的robots.txt进行操作，如果robots.txt里是User-agent: * Disallow: /的话，wget是做不了镜像或者下载目录的，使用-e robots=off参数即可绕过该限制。