通用爬虫：搜索引擎用的爬虫系统
    目标：尽可能的互联网上所有的网页下载下来，放到本地形成备份，
        再对这些网页进行相关处理(提取关键字，去除广告)，最后提供一个
        用户可用的接口。
    抓取流程：
        1.首先取一部分已有的URL，把这些URL放到待爬取队列。
        2.从队列里取出这些URL,然后通过DNS得到主机IP,然后去这个IP服务器
        里下载HTML信息,然后把这些信息放到本地服务器,之后把这个爬过的URL
        放入已爬取队列中.
        3.分析这些网页内容,找出网页中其它URL连接,继续执行第二步,直到没有
        其它URL连接.
    搜索引擎是如何获取一个新网站的URL的:
        1.主动向搜索引擎提交网址
        2.在其它网站设置网站的外链
        3.搜索引擎会和DNS服务商进行合作,可以快速收录新的网址
    通用爬虫并不是万物皆可爬的,它也需要遵守规则:
        Robots协议:https://www.taobao.com/robots.txt(可以查看协议内容)
        一般只有大型的搜索引擎才会遵守产.
    通用爬虫工作流程:
        抓取网页--存储数据--内容处理--提供检索--排名服务
    搜索排名:
        1.PageRank值:根据网站流量,网站流量越高,排名越靠前.
        2.竞价排名:给钱多的排名靠前.
    通用爬虫的缺点:
        只能提供和文本相关的内容,不提供多媒体文件爬取.
        提供的结果千篇一律(正在改进中.....)
        为了解决这个问题,聚焦爬虫出现了.


聚集爬虫：爬虫程序员写的针对某种内容的爬虫
    面向某种特定的内容去爬取信息,保证内容和需求尽可能相关.