教育网中Nutch如何抓取国外网站

对于大多数教育网中的用户，都是不可以直接上国外网站的（主要由于学校封锁），一定要上的话也只能通过代理。今天我需要抓取一些国外的网站，但发现全部都抓取不成功。经过检查发现需要设置代理，具体设置方法如下：

在/conf/nutch-site.xml中添加如下内容：

<property>
  <name>http.proxy.host</name>
  <value>***.***.***.***</value>
  <description>The proxy hostname.  If empty, no proxy is used.</description>
</property>

<property>
  <name>http.proxy.port</name>
  <value>8080</value>
  <description>The proxy port.</description>
</property>

<property>
  <name>http.proxy.username</name>
  <value></value>
  <description>Username for proxy. This will be used by
  'protocol-httpclient', if the proxy server requests basic, digest
  and/or NTLM authentication. To use this, 'protocol-httpclient' must
  be present in the value of 'plugin.includes' property.
  NOTE: For NTLM authentication, do not prefix the username with the
  domain, i.e. 'susam' is correct whereas 'DOMAIN/susam' is incorrect.
  </description>
</property>