浅议URL normalization

                   作为网络爬虫的一个微小组件，甚至都谈不上组件，而只是一个小功能点而已，但URL 规范化的作用和影响却一点也不小，这篇文章就基于目前我所掌握的的知识，简单谈谈URL normalization，主要从如下几个方面来谈：URL normalization的实质，为什么需要URL normalization，URL normalization的主要内容，nutch中URL normalization所做的工作以及heritrix中URL normalization所做的工作

 

                   URL normalization的实质

                   顾名思义，URL normalization就是对URL进行规范化处理，这里的规范化主要是基于一定的标准对从网页中提出的URL进行处理，然后对处理后的URL再进行

存储，就好像在邮政系统中，需要地址按照行政级别从大到小来编写，人名需要姓在前，名在后，对抽取出的URL进行规范化处理后，所有的URL就可以基于同一个标准进行

各种逻辑操作。

 

                   为什么需要URL normalization

                   URL规范化的主要目的就是为了URL去重，如果不进行去重处理，就会出现如下几种情形：

                   1.爬虫不止一次对同一个资源（由等价的URL指向）进行爬取，甚至索引（如果没有内容去重模块的话）。

                   2.大量形式