网页爬虫——图论

        随着互联网越来越庞大，其抽象特征也越来越符合离散数学中的图论，这点也是网络爬虫的理论基础。构建互联网的爬虫有三个最重要的基础点：

    一、 使用BFS还是DFS

           1. BFS的好处在于，突出了网页的权重，因为每个网站，往往首页是最重要的，采用BFS可以在有限的时间内获得更多的有价值的网页。

           2. DFS的好处，在于降低了下载服务器同网页服务器之间的握手次数，提高了下载的次数。

    二、 页面分析和URL提取

           如今网页很多由脚本语言写成，提取URL十分不容易。网络爬虫需要模拟页面运行的记过才能够得到里面隐含的URL。

   

    三、 记录访问过的网页

           一个网页可能会有多条入度，我们需要排重算法，使用hash算法是最为合适的。而维护这张hash表是十分重要的一件事，尤其是成千上万的服务器共同访问同一张hash排重表。

          解决的方案是，按照服务器进行分类，明确不同服务器的下载分工，A下载这类网页，B下载那一类服务器。在此基础上，通过以批处理的方式query hash表，还能够有效的降低通信的消耗。

               

                

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29172126/viewspace-772654/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29172126/viewspace-772654/