针对小白的 web crawler 基础

前言

彦祖们啊，博主们啊，还有“君子们”啊，我们又见面了，对于前面的那些文章大部分都因某些原因都 鸽了吧~ 鸽了吧~ 。（后期会整体慢慢补充）

一、爬虫介绍

爬虫又称网络蜘蛛、网络机器人，主要的功能就是抓取网络数据的程序。本质就是用程序模拟人使用浏览器访问网站，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。

爬虫可分为两大类：通用网络爬虫、聚焦网络爬虫

• 通用网络爬虫  ：是搜索引擎的重要组成部分，百度搜索引擎，其实可以更形象地称之为百度蜘蛛（Baiduspider），它每天会在海量的互联网信息中爬取信息，并进行收录。当用户通过百度检索关键词时，百度首先会对用户输入的关键词进行分析，然后从收录的网页中找出相关的网页，并按照排名规则对网页进行排序，最后将排序后的结果呈现给用户。通用网络爬虫需要遵守robots协议，网站通过此协议告诉搜索引擎哪些页面可以抓取，哪些页面不允许抓取。

• 聚焦网络爬虫 ：是面向特定需求的一种网络爬虫程序。聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选，尽量保证只抓取与需求相关的网页信息。这也很好地满足一些特定人群对特定领域信息的需求。