Crawl Scope 抓取范围

提供以下几种抓取的范围 

1、BroadScope 
BroadScope可以限制抓取的链接数，但不强加给主机，域，或URI路径中的任何限制抓取。 
简单的说：什么路径都可以抓 

2、SurtPrefixScope 
一个高度灵活和公正高效的范围内可以根据配置定义抓取域，个别主机或主机路径的特定区域，或这些混合物，这个我看的不是很明白 

3、FilterScope 
高度可配置范围，通过添加不同的过滤器组合成这个范围，可以配置提供各种各样的行为。选择了这个filter，你必须要从这里的过滤标签添加你想要运行的抓取范围的标签 
如果想抓取 'www.archive.org' ，过滤器规则可以像这样^(?:http|dns)www.archve.org/\.* 
注意：Be careful you don't rule out prerequisites such as dns or robots.txt when specifying your scope filter 


4、DomainScope 
如果抓取的种子是 'archive.org', a domain scope 将会抓取 'audio.archive.org', 'movies.archive.org', etc. 它将会抓取所有的在 'archive.org'域中的URI 

5、HostScope 
只限制seed提供的uri 
比如种子是www.archive.org，只会抓取该种子下的内容，不会抓取audio.archive.org或movies.archive.org 

6、PathScope 
这个范围，进一步限制对主机的种子定义的URI来发现路径 

还是看官方原文吧 

This scope goes yet further and limits the discovered URIs to a section of paths on hosts defined by the seeds. Of course any host that has a seed pointing at its root (i.e. www.sample.com/index.html) will be included in full where as a host whose only seed is www.sample2.com/path/index.html will be limited to URIs under /path/.