本文介绍了网络爬虫的基本概念，包括通用爬虫和聚焦爬虫。通用爬虫是搜索引擎的重要组成部分，负责网页的抓取、存储、预处理和检索服务。聚焦爬虫则针对特定主题，有选择地抓取相关信息。文章详细阐述了通用搜索引擎的工作流程，并提及了 Robots 协议的作用，用于指导搜索引擎抓取网页的行为。
1.什么是爬虫：
网络爬虫（又被称为网页蜘蛛，网页机器人），模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序
浏览器能做的事情，原则上爬虫都能够做
2.爬虫的分类：
根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.
通用爬虫
通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
通用搜索引擎（Search Engine）工作原理
通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引
最低0.47元/天 解锁文章
2327
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
