这就是搜索引擎（一）—引擎架构、网络爬虫、索引建立

这个系列的文章是一只试图通过产品角度出发去理解复杂庞大搜索引擎的汪写出来的，不足之处很多，欢迎广大技术、非技术同学阅读后指正错误，我们一起探讨共同进步。

本篇主要介绍搜索引擎的架构、网络爬虫、及索引建立。

一、搜索引擎基本信息

1.1 什么是搜索引擎

通俗来讲就是从互联网海量信息中捞出用户感兴趣的内容提供给用户。

1.2 发展历程

分类目录的：纯人工收集整理，代表是导航，如yahoo和hao123 

—> 文本检索：采用信息检索模型查询关键词与网页文本的相关程度

—> 链接分析：利用网页间的链接关系分析网页重要性，代表技术google的pageRank 

—>用户中心：理解用户需求为核心，典型千人千面。

1.3搜索引擎基本架构

该架构主要有三方面的作用：

1、通过爬虫获得互联网上的海量网页信息，存储在本地并建立索引方便查找；

2、用户输入查询query，解析查询意图，并将query分发进行查询；

3、使用query通过各种算法对索引中的文档（网页）排序，返回最符合意图的若干条结果。

本篇主要从第一方面作用来介绍搜索引擎。

二、网络爬虫

2.1通用爬虫框架