第一章 初识爬虫
1.1 背景
互联网大数据时代,对海量数据分析产生巨大的商业价值,爬虫技术是获取大量数据的常用方式;
1.2 爬虫概念
网络爬虫,又称网页蜘蛛,网络机器人,是一种按照一定的规则、自动请求万维网网站并提取网络数据的程序或脚本;
1.3 爬虫的用途
(1)网络爬虫代替手工;
(2)通过网络爬虫过滤广告等冗余信息,便于阅读;
(3) 通过网络爬虫获取某些特定的信息,例如,从不同网页中获取联系方式等;
总之,爬虫能使得在互联网中进行信息采集更加方便高效;
1.4 爬虫的分类
1.4.1 按使用场景分类:
(1)通用爬虫:又称全网爬虫,爬行范围和数量巨大,比较耗费资源;
(2)聚焦爬虫:又称主题网络爬虫,选择性的爬取与预定主题相关的页面,极大的节省硬件和网络资源;
1.4.2 按爬行方式分类:
(1)累积式爬虫:从某个时间点开始,通过遍历的方式爬取系统所允许的存储和处理的所有页面
(2)增量式爬虫:在具有一定规模的网络界面集合的基础上,采用更新数据的方式选取已有集合中的过时网页进行爬取,保证所抓取到的数据与真实网络数据足够接近。
1.4.3 按爬取数据的存在方式分类:
(1)表层爬虫:爬取表层网页的爬虫叫做表层爬虫。表层网页是指传统搜索引擎可以索引的页面,以超链接可以到达的静态网页为主构成的Web页面。
(2)深层爬虫:爬取深层网页的爬虫就叫做深层爬虫。深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的,只有用户提交一些关键词才能获得的 Web 页面。