python爬虫爬取一次数据多长时间_「Python爬虫系列讲解」1. 网络数据爬取概述

作者：荣仔！最靓的仔！

专栏地址 ：http://suo.im/5Rh1z1

1 网络爬虫

1.1 背景引入

随着互联网的迅速发展，万维网已成为大量信息的载体，越来越多的网民可以通过互联网搜索引擎获取所需要的信息。

事实上，市面上通用的搜索引擎是存在一定局限性的：

搜索引擎返回的结果包含大量用户不关心的网页

基于关键字的搜索引擎缺乏语义理解，导致反馈信息不准确

无法处理非结构性数据，尤其是图片。音视频等复杂类型的数据

那么如何有效地提取并利用这些从互联网上获取的信息呢？面对这一巨大的挑战，定向爬取相关网页资源的网络爬虫应运而生。

1.2 概括介绍

网络爬虫又被称为网页蜘蛛或网络机器人，它是一种按照一定的规则，自动爬取万维网信息的程序或者脚本。

网络爬虫根据既定的爬取目标，有选择的访问万维网上的网页与相关链接，获取所需要的信息；

根据使用场景，网络爬虫可分为通用网络爬虫和定向网络爬虫：

通用网络爬虫是搜索引擎爬取系统的重要组成部分，它将互联网上的网页信息下载至本地，形成一个互联网内容镜像备份库，从而支撑整个搜索引擎，其覆盖面广，数据丰富，比如百度，Google等。

定向网络爬虫并不追求大的覆盖，是面向特定主题的一种网络爬虫，其目标是爬取与某一特定主题相关的网页，为面向主题的用户查询准备数据资源，同时定向爬虫在实施网页爬取时