本文深入探讨了搜索引擎的核心技术，包括检索模型、倒排索引和网络爬虫等关键组件。介绍了多种检索模型，如布尔模型、向量空间模型、概率模型及语言模型等，并详细解释了倒排索引的构建和索引更新策略。
转自：http://blog.csdn.net/hguisu/article/details/7969757
转自：http://blog.csdn.net/hguisu/article/details/7962350
转自：http://blog.csdn.net/hguisu/article/details/7981145
1. 检索模型概述
搜索结果排序时搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里我们主要总结网页内容和用户查询相关的内容。
判断网页内容是否与用户査询相关，这依赖于搜索引擎所来用的检索模型。检索模型是搜索引擎的理论基础，为量化相关性提供了一种数学模型，是对查询词和文档之间进行相似度计算的框架和方法。其本质就是相关度建模。如图所示，检索模型所在搜索引擎系统架构位置：
当然检索模型理论研究存在理想化的隐含假设，及即假设用户需求已经通过查询非常清晰明确地表达出来了，所以检索模型的任务不涉及到对用户需求建模。但实际上这个和实际相差较远，即使相同的查询词，不同用户的需求目的可能差异很大，而检索模型对此无能为力。
2. 检索模型分类
所以我们从所使用的数学方法上分：
此外还有基于统计的 机器学习排序算法。
这里主要介绍 布尔模型，向量空间模型，概率模型，语言模型，机器学习排序算法
3. 布尔模型
布尔模型：
是最简单的信息检索模型，是基于集合理论和布尔代数的一种简单的检索模型。
基本思想：
文档和用户查询由其包含的单词集合来表示，两者的相似性则通过布尔代数运算来进行判定；
相似度计算：
查询布尔表达式和所有文档的布尔表达式进行匹配，匹配成功的文档的得分为1，否则为0。
如查询词：
苹果 and （iphone OR Ipad2）
文档集合：
D1：IPhone 5于9月13号问世。
D2: 苹果公司于9月13号发布新一代IPhone。
D3：Ipad2将于3月11日在美上市。
D4：Iphone和ipad2的外观设计精美时尚
D5：80后90后都喜欢iphone，但不喜欢吃苹果。
那么单词与文档关系如下图:
这类似于传统数据库检索，是精确匹。一些搜索引擎的高级检索往往是使用布尔模型的思想。如 Google的高级检索。
优点：
在于形式简洁、结构简单。
缺点：
1）准确的匹配可能导致检出的文档过多或过少。因为布尔模型只是判断文档要么相关、要么不相关，它的检索策略基于二值判定标准，无法描述与查询条件部分匹配的情况。因此，布尔模型实际上是一个数值检索模型而不是信息检索模型。
2）尽管布尔表达式有确切的语义，但通常很难将用户的信息需求转换成布尔表达式。如今，人们普遍认为，给索引词加权能极大地改善检索效果。从对索引词加权的方法中引出了向量模型。
4. 向量空间模型(Vector Space Model，VSM)
向量空间模型：康奈尔大学Salton等人上世纪70年代提出并倡导，原型系统SMART
基本思想：
把文档看成是由t维特征组成的一个向量，特征一般采用单词，每个特征会根据一定依据计算其权重，这t维带有权重的特征共同构成了一个文档，以此来表示文档的主题内容。
相似性计算：
计算文档的相似性可以采用Cosine计算定义，实际上是求文档在t维空间中查询词向量和文档向量的夹角，越小越相似；对于特征权重，可以采用Tf*IDF框架，Tf是词频，IDF是逆文档频率因子指的是同一个单词在文档集合范围的出现次数，这个是一种全局因子，其考虑的不是文档本身的特征，而是特征单词之间的相对重要性，特征词出现在其中的文档数目越多，IDF值越低，这个词区分不同文档的能力就越差，这个框架一般把Weight=Tf*IDF作为权重计算公式。
思路：
n篇文档， m个标引词构成的矩阵 Am*n，每列可以看成每篇文档的向量表示，同时，每行也可以可以看成 单词的向量表示：
1： Wtf = 1 + log(TF)
4) 相似度计算：文档和查询词的相关程度(即相似度)可由它们各自向量在向量空问中的相对位置来决定。相似度计算函数有很多种，较常用的是两个向量夹角的余弦函数。
其意义：两向量的数量积等于其中一个向量的模与另一个向量在这个向量的方向上的投影的乘积。我们把|b|cosθ叫做向量b在向量a的方向上的投影。
两向量 a与 b的数量积： a· b=| a|*| b|cosθ；其中| a|、|β|是两向量的模，θ是两向量之间的夹角(0≤θ≤π)。
若有坐标 a(x1,y1,z1) ； b(x2,y2,z2)，那么 a· b=x1x2+y1y2+z1z2； | a|=sqrt(x1^2+y1^2+z1^2)；| b|=sqrt(x2^2+y2^2+z2^2)。
依定义有：cos〈a，b〉=a·b / |a|·|b|）；若a、b共线，则a·b=+-∣a∣∣b∣。
其性质：
1）a· a=| a|的 平方。
2） a⊥ b 〈=〉 a· b=0。
理解Cosine相似性，可以讲每个文档以及查询看做t维特征空间的一个数值点。每个特征形成t维空间中的一个维度，链接特征空间原点和这个数值点形成一个向量，而Cosine相似性就是计算特征空间中两个向量之间的夹角。这个夹角越小，说明两个特征向量内容越相似。极端的情况就是两个完全相同的文档，其在向量空间中的两个向量是重叠的，Cosine相似性值为1.
倒排索引列表：
3) 单词之间的独立性假设与实际不符：实际上， 单词的出现之间是有关系的，不是完全独立的。如：“王励勤”“乒乓球”的出现不是独立的 。
5. 概率模型
概率模型：
是目前效果最好的模型之一，okapi BM25这一经典概率模型计算公式已经在搜索引擎的网页排序中广泛使用。概率检索模型是从概率排序原理推导出来的。
基本假设前提和理论：
1).相关性独立原则：文献对一个检索式的相关性与文献集合中的其他文献是独立的。
2).单词的独立性:单词和检索式中词与词之间是相互独立。即文档里出现的单词之间没有任何关联，任一单词在文档的分布概率不依赖其他单词是否出现。
3).文献相关性是二值的:即只有相关和不相关两种。
4).概率排序原则:该原则认为，检索系统应将文档按照与查 询的概率相关性的大小排序，那么排在最前面的是最有可能被获取的文档
5).贝叶斯(Bayes)定理:用公式表示为：
P(R|d)=(d|R)·P(R)/P(d)
基本思想是：
是通过概率的方法将查询和文档联系起来,给定一个用户查询，如果搜索系统能够在搜索结果排序时按照文档和用户需求的相关性由高到底排序，那么这个搜索系统的准确性是最优的。在文档集合的基础上尽可能准确地对这种相关性进行估计就是其核心。
相似度计算：
将查询Q和文档D根据有没有单词表示为二值向量，Q={q1,q2,…}，D={d1,d2,…}，di=0或1表示文献中没有或有第i个单词. 用R表示文献相关，
表示文献不相关.
条件概率P(R|dj )表示文档 dj与查询qi相关的概率
条件概率P(|dj)表示文档dj与查询qi不相关的概率
利用它们的比值计算文档与查询的相似度。
若P(R|d)> P( |d)，即比值大于1，则文献相关程度大于不相关程度，认为文献d是相关的，否则认为文献d不相关。在两者相等时，人为地认为它是不相关的。
优点:
1.采用严格的数学理论为依据，为人们提供了一种数学理论基础来进行检索决策；PubMed的related articles 。
2.采用相关反馈原理
3.在其中没有使用用户难以运用的布尔逻辑方法；
4.在操作过程中使用了词的依赖性和相互关系。
缺点：
1.计算复杂度大,不适合大型网络
2.参数估计难度较大
3.条件概率值难估计
4.系统的检索性能提高不明显，需与其他检索模型结合
6. 语言模型
语言模型：是借鉴了语音识别领域采用的语言模型技术，将语言模型和信息检索模型相互融合的结果
基本思想：
其他的检索模型的思考路径是从查询到文档，即给定用户查询，如何找出相关的文档，该模型的思路正好想法，是由文档到查询这个方向，即为每个文档建立不同的语言模型，判断由文档生成用户查询的可能性有多大，然后按照这种生成概率由高到低排序，作为搜索结果。语言模型代表了单词或者单词序列在文档中的分布情况；
7. 机器学习排序算法
机器学习排序算法：随着搜索引擎的发展，对于某个网页进行排序需要考虑的因素越来越多，这是无法根据人工经验完成的，这时候用机器学习就是非常合适的，例如Google目前的网页排序公式考虑了200多种因子。机器学习需要的数据源在搜索引擎中较好满足，例如用户的搜索点击记录。其分成人工标注训练、文档特征抽取、学习分类函数以及在实际搜索系统中采用机器学习模型等4个步骤组成。人工标注训练可由用户点击记录来模拟人为对文档相关打分的机制。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.概述
在关系数据库系统里，索引是检索数据最有效率的方式,。但对于搜索引起，他它并不能满足其特殊要求：
1）海量数据：搜索引擎面对的是海量数据，像Google，百度这样大型的商业搜索引擎索引都是亿级甚至几千的网页数量 ，面对如此海量数据 ,使得数据库系统很难有效的管理。
2）数据操作简单：搜索引擎使用的数据操作简单 ,一般而言 ,只需要增、 删、 改、 查几个功能 ,而且数据都有特定的格式 ,可以针对这些应用设计出简单高效的应用程序。而一般的数据库系统则支持大而全的功能 ,同时损失了速度和空间。最后 ,搜索引擎面临大量的用户检索需求 ,这要求搜索引擎在检索程序的设计上要分秒必争 ,尽可能的将大运算量的工作在索引建立时完成 ,使检索运算尽量的少。一般的数据库系统很难承受如此大量的用户请求 ,而且在检索响应时间和检索并发度上都不及我们专门设计的索引系统。
2.倒排索引
来自维基百科定义：
倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。
倒排索引有两种不同的反向索引形式：
一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。
一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。
后者的形式提供了更多的兼容性（比如短语搜索），但是需要更多的时间和空间来创建。
现代搜索引起的索引都是基于倒排索引。相比“签名文件”、“后缀树”等索引结构，“倒排索引”是实现单词到文档映射关系的最佳实现方式和最有效的索引结构.
倒排索引的简单实例： 搜索引擎-倒排索引基础知识
3.倒排列表
倒排列表用来记录有哪些文档包含了某个单词。一般在文档集合里会有很多文档包含某个单词，每个文档会记录文档编号（DocID），单词在这个文档中出现的次数（TF）及单词在文档中哪些位置出现过等信息，这样与一个文档相关的信息被称做倒排索引项（Posting），包含这个单词的一系列倒排索引项形成了列表结构，这就是某个单词对应的倒排列表。图1是倒排列表的示意图，在文档集合中出现过的所有单词及其对应的倒排列表组成了倒排索引。
图1 倒排列表
在实际的搜索引擎系统中，并不存储倒排索引项中的实际文档编号，而是代之以文档编号差值（D-Gap）。文档编号差值是倒排列表中相邻的两个倒排索引项文档编号的差值，一般在索引构建过程中，可以保证倒排列表中后面出现的文档编号大于之前出现的文档编号，所以文档编号差值总是大于0的整数。如图2所示的例子中，原始的 3个文档编号分别是187、196和199，通过编号差值计算，在实际存储的时候就转化成了：187、9、3。
图2 文档编号差值
之所以要对文档编号进行差值计算，主要原因是为了更好地对数据进行压缩，原始文档编号一般都是大数值，通过差值计算，就有效地将大数值转换为了小数值，而这有助于增加数据的压缩率。
4.建立倒排索引
4.1 简单索引构建
索引的构建相当于从正排表到倒排表的建立过程。当我们分析完网页时 ,得到的是以网页为主码的索引表。当索引建立完成后 ,应得到倒排表 ,具体流程如图3所示：
图3 索引构建
流程：
1）将文档分析称单词term标记，
2）使用hash去重单词term
3）对单词生成倒排列表
倒排列表就是文档编号DocID，没有包含其他的信息（如词频，单词位置等），这就是简单的索引。
这个简单索引功能可以用于小数据，例如索引几千个文档。然而它有两点限制：
1）需要有足够的内存来存储倒排表，对于搜索引擎来说， 都是G级别数据，特别是当规模不断扩大时 ,我们根本不可能提供这么多的内存。
2）算法是顺序执行，不便于并行处理。
4.3 合并法建立索引
归并法,即每次将内存中数据写入磁盘时，包括词典在内的所有中间结果信息都被写入磁盘，这样内存所有内容都可以被清空，后续建立索引可以使用全部的定额内存。
如图4 归并示意图：
图4：归并索引
合并流程如图5：
1）页面分析，生成临时倒排数据索引A，B，当临时倒排数据索引A，B占满内存后，将内存索引A，B写入临时文件生成临时倒排文件，
2) 对生成的多个临时倒排文件 ,执行多路归并 ,输出得到最终的倒排文件 ( inverted file)。
图5 合并流程
索引创建过程中的页面分析 ,特别是中文分词为主要时间开销。算法的第二步相对很快。这样创建算法的优化集中在中文分词效率上。
4.2 并行与分布式建立索引
在 搜索引擎-网络爬虫, 已经提到云存储文档，使用Map/Reduce并行计算模型，对文档生成倒排索引列：
对于建立倒排索引这个任务来说，如图6所示，输入数据也是网页，以网页的DOCID作为输入数据 的Key, 网页中出现的单词集合是输入数据的 Value; Map 操作将输入数据转化为 (word，DOCID)的形式，即某个单词作为Key， DOCID作为中间数据的value，其含义是单词 word在DOCID这个网页出现过；Reduce操作将中间数据中相同Key的记录融合，得到某 个单词对应的网页ID列表： <word，List(DodD:pos)>。这就是单词word对应的倒排列表。通过 这种方式就可以建立简单的倒排索引，在Reduce阶段也可以做些复杂操作，获得形式更为复杂的倒排索引。
图6
5.索引更新策略
更新策略有四种：完全重建、再合并策略、原地更新策略以及混合策略。
- 完全重建策略：当新增文档到达一定数量，将新增文档和原先的老文档整合，然后利用静态索引创建方法对所有文档重建索引，新索引建立完成后老索引会被遗弃。此法代价高，但是目前主流商业搜索引擎一般是采用此方式来维护索引的更新（这句话是书中原话）
- 再合并策略：当新增文档进入系统，解析文档，之后更新内存中维护的临时索引，文档中出现的每个单词，在其倒排表列表末尾追加倒排表列表项；一旦临时索引将指定内存消耗光，即进行一次索引合并，这里需要倒排文件里的倒排列表存放顺序已经按照索引单词字典顺序由低到高排序，这样直接顺序扫描合并即可。其缺点是：因为要生成新的倒排索引文件，所以对老索引中的很多单词，尽管其在倒排列表并未发生任何变化，也需要将其从老索引中取出来并写入新索引中，这样对磁盘消耗是没必要的。
- 原地更新策略：试图改进再合并策略，在原地合并倒排表，这需要提前分配一定的空间给未来插入，如果提前分配的空间不够了需要迁移。实际显示，其索引更新的效率比再合并策略要低。
- 混合策略：出发点是能够结合不同索引更新策略的长处，将不同索引更新策略混合，以形成更高效的方法。
- -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.单词——文档矩阵
单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。
图3-1 单词-文档矩阵
从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其它单词。从横向即单词这个维度来看，每行代表了哪些文档包含了某个单词。比如对于词汇1来说，文档1和文档4中出现过单词1，而其它文档不包含词汇1。矩阵中其它的行列也可作此种解读。
搜索引擎的索引其实就是实现“单词-文档矩阵”的具体数据结构。可以有不同的方式来实现上述概念模型，比如“倒排索引”、“签名文件”、“后缀树”等方式。但是各项实验数据表明，“倒排索引”是实现单词到文档映射关系的最佳实现方式，所以本章主要介绍“倒排索引”的技术细节。
2.倒排索引基本概念
文档(Document)：一般搜索引擎的处理对象是互联网网页，而文档这个概念要更宽泛些，代表以文本形式存在的存储对象，相比网页来说，涵盖更多种形式，比如Word，PDF，html，XML等不同格式的文件都可以称之为文档。再比如一封邮件，一条短信，一条微博也可以称之为文档。在本书后续内容，很多情况下会使用文档来表征文本信息。
文档集合(Document Collection)：由若干文档构成的集合称之为文档集合。比如海量的互联网网页或者说大量的电子邮件都是文档集合的具体例子。
文档编号(Document ID)：在搜索引擎内部，会将文档集合内每个文档赋予一个唯一的内部编号，以此编号来作为这个文档的唯一标识，这样方便内部处理，每个文档的内部编号即称之为“文档编号”，后文有时会用DocID来便捷地代表文档编号。
单词编号(Word ID)：与文档编号类似，搜索引擎内部以唯一的编号来表征某个单词，单词编号可以作为某个单词的唯一表征。
倒排索引(Inverted Index)：倒排索引是实现“单词-文档矩阵”的一种具体存储形式，通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。
单词词典(Lexicon)：搜索引擎的通常索引单位是单词，单词词典是由文档集合中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息以及指向“倒排列表”的指针。
倒排列表(PostingList)：倒排列表记载了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。
倒排文件(Inverted File)：所有单词的倒排列表往往顺序地存储在磁盘的某个文件里，这个文件即被称之为倒排文件，倒排文件是存储倒排索引的物理文件。
关于这些概念之间的关系，通过图3-2可以比较清晰的看出来。
图3-2 倒排索引基本概念示意图
3.倒排索引简单实例
倒排索引从逻辑结构和基本思路上来讲非常简单。下面我们通过具体实例来进行说明，使得读者能够对倒排索引有一个宏观而直接的感受。
假设文档集合包含五个文档，每个文档内容如图3-3所示，在图中最左端一栏是每个文档对应的文档编号。我们的任务就是对这个文档集合建立倒排索引。
图3-3 文档集合
中文和英文等语言不同，单词之间没有明确分隔符号，所以首先要用分词系统将文档自动切分成单词序列。这样每个文档就转换为由单词序列构成的数据流，为了系统后续处理方便，需要对每个不同的单词赋予唯一的单词编号，同时记录下哪些文档包含这个单词，在如此处理结束后，我们可以得到最简单的倒排索引（参考图3-4）。在图3-4中，“单词ID”一栏记录了每个单词的单词编号，第二栏是对应的单词，第三栏即每个单词对应的倒排列表。比如单词“谷歌”，其单词编号为1，倒排列表为{1,2,3,4,5}，说明文档集合中每个文档都包含了这个单词。
图3-4 简单的倒排索引
之所以说图3-4所示倒排索引是最简单的，是因为这个索引系统只记载了哪些文档包含某个单词，而事实上，索引系统还可以记录除此之外的更多信息。图3-5是一个相对复杂些的倒排索引，与图3-4的基本索引系统比，在单词对应的倒排列表中不仅记录了文档编号，还记载了单词频率信息（TF），即这个单词在某个文档中的出现次数，之所以要记录这个信息，是因为词频信息在搜索结果排序时，计算查询和文档相似度是很重要的一个计算因子，所以将其记录在倒排列表中，以方便后续排序时进行分值计算。在图3-5的例子里，单词“创始人”的单词编号为7，对应的倒排列表内容为：（3:1），其中的3代表文档编号为3的文档包含这个单词，数字1代表词频信息，即这个单词在3号文档中只出现过1次，其它单词对应的倒排列表所代表含义与此相同。
图3-5 带有单词频率信息的倒排索引
实用的倒排索引还可以记载更多的信息，图3-6所示索引系统除了记录文档编号和单词频率信息外，额外记载了两类信息，即每个单词对应的“文档频率信息”（对应图3-6的第三栏）以及在倒排列表中记录单词在某个文档出现的位置信息。
图3-6 带有单词频率、文档频率和出现位置信息的倒排索引
“文档频率信息”代表了在文档集合中有多少个文档包含某个单词，之所以要记录这个信息，其原因与单词频率信息一样，这个信息在搜索结果排序计算中是非常重要的一个因子。而单词在某个文档中出现的位置信息并非索引系统一定要记录的，在实际的索引系统里可以包含，也可以选择不包含这个信息，之所以如此，因为这个信息对于搜索系统来说并非必需的，位置信息只有在支持“短语查询”的时候才能够派上用场。
以单词“拉斯”为例，其单词编号为8，文档频率为2，代表整个文档集合中有两个文档包含这个单词，对应的倒排列表为：{(3;1;<4>)，(5;1;<4>)},其含义为在文档3和文档5出现过这个单词，单词频率都为1，单词“拉斯”在两个文档中的出现位置都是4，即文档中第四个单词是“拉斯”。
图3-6所示倒排索引已经是一个非常完备的索引系统，实际搜索系统的索引结构基本如此，区别无非是采取哪些具体的数据结构来实现上述逻辑结构。
有了这个索引系统，搜索引擎可以很方便地响应用户的查询，比如用户输入查询词“Facebook”，搜索系统查找倒排索引，从中可以读出包含这个单词的文档，这些文档就是提供给用户的搜索结果，而利用单词频率信息、文档频率信息即可以对这些候选搜索结果进行排序，计算文档和查询的相似性，按照相似性得分由高到低排序输出，此即为搜索系统的部分内部流程，具体实现方案本书第五章会做详细描述。
4. 单词词典
单词词典是倒排索引中非常重要的组成部分，它用来维护文档集合中出现过的所有单词的相关信息，同时用来记载某个单词对应的倒排列表在倒排文件中的位置信息。在支持搜索时，根据用户的查询词，去单词词典里查询，就能够获得相应的倒排列表，并以此作为后续排序的基础。
对于一个规模很大的文档集合来说，可能包含几十万甚至上百万的不同单词，能否快速定位某个单词，这直接影响搜索时的响应速度，所以需要高效的数据结构来对单词词典进行构建和查找，常用的数据结构包括哈希加链表结构和树形词典结构。
4.1 哈希加链表
图1-7是这种词典结构的示意图。这种词典结构主要由两个部分构成：
主体部分是哈希表，每个哈希表项保存一个指针，指针指向冲突链表，在冲突链表里，相同哈希值的单词形成链表结构。之所以会有冲突链表，是因为两个不同单词获得相同的哈希值，如果是这样，在哈希方法里被称做是一次冲突，可以将相同哈希值的单词存储在链表里，以供后续查找。
图1-7 哈希加链表词典结构
在建立索引的过程中，词典结构也会相应地被构建出来。比如在解析一个新文档的时候，对于某个在文档中出现的单词T，首先利用哈希函数获得其哈希值，之后根据哈希值对应的哈希表项读取其中保存的指针，就找到了对应的冲突链表。如果冲突链表里已经存在这个单词，说明单词在之前解析的文档里已经出现过。如果在冲突链表里没有发现这个单词，说明该单词是首次碰到，则将其加入冲突链表里。通过这种方式，当文档集合内所有文档解析完毕时，相应的词典结构也就建立起来了。
在响应用户查询请求时，其过程与建立词典类似，不同点在于即使词典里没出现过某个单词，也不会添加到词典内。以图1-7为例，假设用户输入的查询请求为单词3，对这个单词进行哈希，定位到哈希表内的2号槽，从其保留的指针可以获得冲突链表，依次将单词3和冲突链表内的单词比较，发现单词3在冲突链表内，于是找到这个单词，之后可以读出这个单词对应的倒排列表来进行后续的工作，如果没有找到这个单词，说明文档集合内没有任何文档包含单词，则搜索结果为空。
4.2 树形结构
B树（或者B+树）是另外一种高效查找结构，图1-8是一个 B树结构示意图。B树与哈希方式查找不同，需要字典项能够按照大小排序（数字或者字符序），而哈希方式则无须数据满足此项要求。
B树形成了层级查找结构，中间节点用于指出一定顺序范围的词典项目存储在哪个子树中，起到根据词典项比较大小进行导航的作用，最底层的叶子节点存储单词的地址信息，根据这个地址就可以提取出单词字符串。
图1-8 B树查找结构
转自：http://blog.csdn.net/hguisu/article/details/7949844
搜索引擎-网络爬虫
通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。
1. 网络爬虫本质就是浏览器http请求。
浏览器和网络爬虫是两种不同的网络客户端，都以相同的方式来获取网页：
1）首先， 客户端程序连接到域名系统（DNS）服务器上，DNS服务器将主机 名转换成ip 地址。
2）接下来，客户端试着连接具有该IP地址的服务器。服务器上可能有多个 不同进程程序在运行，每个进程程序都在监听网络以发现新的选接。.各个进程监听不同的网络端口 (port). 端口是一个l6位的数卞，用来辨识不同的服务。Http请求一般默认都是80端口。
3） 一旦建立连接，客户端向服务器发送一个http请求，服务器接收到请求后，返回响应结果给客户端。
4）客户端关闭该连接。
详细了解http工作原理：网络互联参考模型（详解） 和Apache运行机制剖析
2. 搜索引擎爬虫架构
但是浏览器是用户主动操作然后完成HTTP请求，而爬虫需要自动完成http请求，网络爬虫需要一套整体架构完成工作。
尽管爬虫技术经过几十年的发展，从整体框架上已相对成熟，但随着互联网 的不断发展，也面临着一些有挑战性的新问题。 通用爬虫框架如下图：
通用爬虫框架
通用的爬虫框架流程：
1）首先从互联网页面中精心选择一部分网页，以这 些网页的链接地址作为种子URL；
2）将这些种子URL放入待抓取URL队列中；
3）爬虫从待抓取 URL队列依次读取，并将URL通过DNS解析，把链接地址转换为网站服务器对应的IP地址。
4）然后将IP地址和网页相对路径名称交给网页下载器，
5）网页下载器负责页面内容的下载。
6）对于下载到 本地的网页，一方面将其存储到页面库中，等待建立索引等后续处理；另一方面将下载网页的 URL放入己抓取URL队列中，这个队列记载了爬虫系统己经下载过的网页URL，以避免网页 的重复抓取。
7）对于刚下载的网页，从中抽取出所包含的所有链接信息，并在已抓取URL队列 中检査，如果发现链接还没有被抓取过，则将这个URL放入待抓取URL队歹！
8，9）末尾，在之后的 抓取调度中会下载这个URL对应的网页，如此这般，形成循环，直到待抓取URL队列为空.
3. 爬虫抓取策略
在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。
3.1 深度优先搜索策略（顺藤摸瓜）
即图的深度优先遍历算法。网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。
我们使用图的方式来说明：
我们假设互联网就是张有向图，图中每个顶点代表一个网页。 设初始状态是图中所有顶点未曾被访问，则深度优先搜索可从图中某个顶点发v 出发，访问此顶点，然后依次从v 的未被访问的邻接点出发深度优先遍历图，直至图中所有和v 有路径相通的顶点都被访问到；若此时图中尚有顶点未被访问，则另选图中一个未曾被访问的顶点作起始点，重复上述过程，直至图中所有顶点都被访问到为止。
以如下图的无向图G1为例，进行图的深度优先搜索：
搜索过程：
假设从顶点页面v1 出发进行搜索抓取，在访问了页面v1 之后，选择邻接点页面v2。因为v2 未曾访问，则从v2 出发进行搜索。依次类推，接着从v4 、v8 、v5 出发进行搜索。在访问了v5 之后，由于v5 的邻接点都已被访问，则搜索回到v8。由于同样的理由，搜索继续回到v4，v2 直至v1，此时由于v1 的另一个邻接点未被访问，则搜索又从v1 到v3，再继续进行下去由此，得到的顶点访问序列为：
3.2 广度优先搜索策略
宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页， 一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。
还是以上面的图为例，抓取过程如下：
广度搜索过程：
首先访问页面v1 和v1 的邻接点v2 和v3，然后依次访问v2 的邻接点v4 和v5 及v3 的邻接点v6 和v7，最后访问v4 的邻接点v8。由于这些顶点的邻接点均已被访问，并且图中所有顶点都被访问，由些完成了图的遍历。得到的顶点访问序列为：
和深度优先搜索类似，在遍历的过程中也需要一个访问标志数组。并且，为了顺次访问路径长度为2、3、…的顶点，需附设队列以存储已被访问的路径长度为1、2、… 的顶点。
3.2 最佳优先搜索策略
最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。
3.3.反向链接数策略
反向链接数是指一个网页被其他网页链接指向的数量。反向链接数表示的是一个网页的内容受到其他人的推荐的程度。因此，很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后顺序。
在真实的网络环境中，由于广告链接、作弊链接的存在，反向链接数不能完全等他我那个也的重要程度。因此，搜索引擎往往考虑一些可靠的反向链接数。
3.4.Partial PageRank策略，即最佳优先搜索策略
Partial PageRank算法借鉴了PageRank算法的思想：按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取，即对于已经下载的网页，连同待抓取URL队列中的URL，形成网页集合，计算每个页面的PageRank值，计算完之后，将待抓取URL队列中的URL按照PageRank值的大小排列，并按照该顺序抓取页面。
它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。 因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。
如果每次抓取一个页面，就重新计算PageRank值，一种折中方案是：每抓取K个页面后，重新计算一次PageRank值。但是这种情况还会有一个问题：对于已经下载下来的页面中分析出的链接，也就是我们之前提到的未知网页那一部分，暂时是没有PageRank值的。为了解决这个问题，会给这些页面一个临时的PageRank值：将这个网页所有入链传递进来的PageRank值进行汇总，这样就形成了该未知页面的PageRank值，从而参与排序。
3.5.OPIC策略策略
该算法实际上也是对页面进行一个重要性打分。在算法开始前，给所有页面一个相同的初始现金（cash）。当下载了某个页面P之后，将P的现金分摊给所有从P中分析出的链接，并且将P的现金清空。对于待抓取URL队列中的所有页面按照现金数进行排序。
3. 6.大站优先策略
对于待抓取URL队列中的所有网页，根据所属的网站进行分类。对于待下载页面数多的网站，优先下载。这个策略也因此叫做大站优先策略。
4. 网页更新策略
互联网是实时变化的，具有很强的动态性。网页更新策略主要是决定何时更新之前已经下载过的页面。常见的更新策略又以下三种：尽管搜索引擎针对于某个查询条件能够返回数量巨大的结果，但是用户往往只关注前几页结果。因此，抓取系统可以优先更新那些现实在查询结果前几页中的网页，而后再更新那些后面的网页。这种更新策略也是需要用到历史信息的。用户体验策略保留网页的多个历史版本，并且根据过去每次内容变化对搜索质量的影响，得出一个平均值，用这个值作为决定何时重新抓取的依据。
3.聚类抽样策略
5. 云存储文档
应用的知识：1，GFS，使用GFS分布式文件系统存储海量文档。
2，BitTable，在GFS的基础上构建BitTable的数据模型；
3，MegaStore存储模型又建立在BitTable之上的存储和计算模型。
4，Map/Reduce云计算模型和系统计算框架。
4.1 BitTable存储原始的网页信息
如图4-1所示的逻辑模型，示例crawldb table用于存储爬虫抓取的网页信息，
其中：Row Key为网页的URL，出于排序效率考虑，URL中主机域名字符顺序往往被反置，如www.facebook.com被处理为com.facebook.www；
Column Family包括title、content、anchor，其中tile保存网页的标题，content保存网页html内容，anchor保存网页被其它网页引用的链接，qualifier就是其它网页的URL，内容为其它网页中该链接的页面显示字符，同样anchor链接的URL主机域字符串被反置。对于不同时间获取的同一网页的有关内容被打上不同的时间戳Timestampe，如图纵向座标可以看到不同的版本。
图4-1Crawldb Table 逻辑模型
在实际的存储中，图4-1所示的多维逻辑结构会被二维平面化为(Key, Value)对，并且进行排序。在（Key，Value）中，Key由四维键值组成，包括：Row Key, ColumnFamily（处理时使用８比特编码）, Column Qualifier和Timestamp，如图4-2所示，为Key的实际结构，在对Key进行排序过程中，有最新Timestamp的Key会被排在最前面，flag项用于标明系统需要对该（Key，Value）记录进行的操作符，如增加、删除、更新等。
图4-2 key结构图
如图4-3是crawldb二维平面化后经过排序的格式。图中Key列中的信息由Row Key(页面的URL)、Column Family、Column Qualifer和Timestamp组成，其中并未显示Key flag项，flag项主要用于表项处理。
图4-3 crawldb表的key/valuye 列表
图4-4显示了crawldb table的CellStore文件格式。CellStore文件中存储了经过排序后的Key，Value对，物理上，这些数据都被压缩后存储，以大约64k大小的块为单位组织；在文件结尾处，保留有三个索引部分：Bloom Filter、块索引（row key + 块在文件内的偏移）、Trailer。
网页去重我们采用简单策略，目标是将网页集合内所有内容相同的网页找出来，采 取对网页内容取哈希值的方法，比如MD5， 如果两个网页的MD5值相同，则可以认为两 页内容完全相同。 在Map/Reduce框架下，输入数据是网页本身，可以用网页的URL作为输入数据的Key, 网页内容是输入数据的value; Map操作则对每个网页的内容利用MD5计算哈希值，以这 个哈希值作为中间数据的Key， 网页的URL作为中间数据的value: Reduce操作则将相同 Key的中间数据对应的URL建立成一个链表结构，这个链表代表了具有相同网页内容哈希 值的都有哪些网页。这样就完成了识别内容相同网页的任务。
对于建立倒排索引这个任务来说，如图4-6所示，输入数据也是网页，以网页的DOCID作为输入数据 的Key, 网页中出现的单词集合是输入数据的 Value; Map 操作将输入数据转化为 (word，DOCID)的形式，即某个单词作为Key， DOCID作为中间数据的value，其含义是单词 word在DOCID这个网页出现过；Reduce操作将中间数据中相同Key的记录融合，得到某 个单词对应的网页ID列表： <word，List(DodD)>。这就是单词word对应的倒排列表。通过 这种方式就可以建立简单的倒排索引，在Reduce阶段也可以做些复杂操作，获得形式更为复杂的倒排索引。
图4-6
扫一扫
393
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
