一.网络爬虫概述，分类，基本原理及在Windows下相关环境搭建

一.网络爬虫概述

  网络爬虫可以按照指定的规则（网络爬虫的算法，编写的程序）自动抓取网络中的信息。大多主流语言都可以都可以进行网络爬虫，python相比较其他语言更加便捷、第三方库更加丰富。所以大多数爬虫任务都是用python完成的。

二.网络爬虫的分类

  网络爬虫根据实现的技术和结构可以分为以下四类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。

1.通用网络爬虫

  通用网络爬虫又叫全网爬虫，主要由URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等模块构成。主要为大型搜索引擎，大型服务商等采集数据。
  通俗来说就是抓取互联网上的所有数据。由于通用网络爬虫的爬行范围和爬取数据量十分巨大，对于爬取速度和存储空间要求较高，所以通常采用并行工作方式。

2.聚焦网络爬虫

  聚焦网络爬虫又叫主题网络爬虫，爬取指定网页信息的一种爬虫。由于目的性更加明确，范围更加小，所以爬取速度快，大幅节约硬件和网络资源。

3.增量式网络爬虫

  所谓增量式，就是增量式更新。意思是在需要的时候只爬取网页更新的部分，没有发生变化的部分不进行重复爬取。这样可以有效地减少数据下载量，加快运行速度，减小时间空间上的耗费，但是算法上的难度会相应增加。

深层网络爬虫

   深层网络爬虫又称Deep Web爬虫。Web页面按照存在方式分为表层网页（Surface Web）和深层网页&#