爬虫学习 | 02 认识爬虫spider

网络爬虫（Web Crawler），也被称为网页蜘蛛（Spider）、网页机器人（Robot）或爬虫（Crawler），是一种自动浏览互联网的程序。它的主要任务是按照一定的算法扫描和访问网页，从互联网上下载网页内容，然后智能地解析和提取网页中的信息。

认识爬虫

        我们所熟悉的一系列搜索引擎都是大型的网络爬虫，比如百度、搜狗、360浏览器、谷歌搜索等等。每个搜索引擎都拥有自己的爬虫程序，

        百度搜索引擎，其实可以更形象地称之为百度蜘蛛（Baiduspider），它每天会在海量的互联网信息中爬取优质的信息，并进行收录。当用户通过百度检索关键词时，百度首先会对用户输入的关键词进行分析，然后从收录的网页中找出相关的网页，并按照排名规则对网页进行排序，最后将排序后的结果呈现给用户。在这个过程中百度蜘蛛起到了非常关键的作用。

        百度的工程师们为“百度蜘蛛”编写了相应的爬虫算法，通过应用这些算法使得“百度蜘蛛”可以实现相应搜索策略，比如筛除重复网页、筛选优质网页等等。应用不同的算法，爬虫的运行效率，以及爬取结果都会有所差异。

爬虫分类

爬虫可分为三大类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫。

1. 通用网络爬虫（General-purpose Crawler 或 Universal Crawler）

   目的：通用网络爬虫的目的是尽可能广泛地收集互联网上的网页，为搜索引擎建立全面的网页索引。通用网络爬虫需要遵守 robots 协议，网站通过此协议告诉搜索引擎哪些页面可以抓取，哪些页面不允许抓取。

   行为：这类爬虫通常从一个或多个种子 URL 开始，通过广度优先搜索（Breadth-First Search, BFS）或其他策略遍历互联网。

   特点：它们通常不区分内容的类型或主题，而是尽可能地收集广泛的信息。

   例子：Google、Bing 和 Yahoo 等大型搜索引擎的爬虫。

2. 聚焦网络爬虫（Focused Crawler 或 Theme-based Crawler）

   目的：聚焦网络爬虫专注于收集特定主题或领域的网页内容。它与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。

   行为：这类爬虫使用特定的选择策略来决定哪些网页是与主题相关的，并且只爬取这些网页。

   特点：它们通常使用关键词列表、语义分析或机器学习等技术来识别和筛选相关内容。

   例子：学术搜索引擎（如 Google Scholar）、特定领域的信息聚合器或新闻监测服务。

3. 增量式网络爬虫（Incremental Crawler）

   目的：增量式网络爬虫旨在定期更新已爬取的网页内容，以反映网页的最新变化；能够在一定程度上保证所爬取的页面是最新的页面。

   行为：这类爬虫会记录每个网页的最后爬取时间，并根据网页的更新频率来决定重新爬取的时间间隔。

   特点：增量式爬虫可以有效地节省资源，因为它们只重新爬取那些可能发生变化的网页。

   策略：它们可能使用网页的 Last-Modified HTTP 头信息或 Etag 来确定是否需要更新内容。

为什么用Python做爬虫

        不止 Python 这一种语言可以做爬虫，诸如 PHP、Java、C/C++ 都可以用来写爬虫程序，但是相比较而言 Python 做爬虫是最简单的。下面对它们的优劣势做简单对比：

PHP：对多线程、异步支持不是很好，并发处理能力较弱；

Java 也经常用来写爬虫程序，但是 Java 语言本身很笨重，代码量很大，因此它对于初学者而言，入门的门槛较高；

C/C++ 运行效率虽然很高，但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长的时间。

        而 Python 语言，其语法优美、代码简洁、开发效率高、支持多个爬虫模块，比如 urllib、requests、Bs4 等。Python 的请求模块和解析模块丰富成熟，并且还提供了强大的 Scrapy 框架，让编写爬虫程序变得更为简单。因此使用 Python 编写爬虫程序是个非常不错的选择。

编写爬虫的流程

 Python 编写爬虫程序的流程：

• 先由 urllib 模块的 request 方法打开 URL 得到网页 HTML 对象。
• 使用浏览器打开网页源代码分析网页结构以及元素节点。
• 通过 Beautiful Soup 或则正则表达式提取数据。
• 存储数据到本地磁盘或数据库。

当然也不局限于上述一种流程。