python爬虫学习笔记2-爬虫基本概念

爬虫介绍

什么是爬虫

简单一句话就是代替人去模拟浏览器进行网页操作。

为什么需要爬虫

为其他程序提供数据源，如搜索引擎(百度、Google等)、数据分析、大数据等。

企业获取数据的方式

1. 公司自有的数据
2. 第三方平台购买的数据 (百度指数、数据堂)
3. 爬虫爬取的数据

python做爬虫的优势

• PHP : 对多线程、异步支持不太好
• Java : 代码量大，代码笨重
• C/C++ : 代码量大，难以编写
• Python : 支持模块多、代码简介、开发效率高 (scrapy框架)

爬虫的分类

• 通用网络爬虫: 例如 baidu google yahu
• 聚焦网络爬虫: 根据既定的目标有选择的抓取某一特定主题内容
• 增量式网络爬虫: 指对下载网页采取增量式的更新和只爬行新产生的或者已经发生变化的网页爬虫
• 深层网络爬虫: 指那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的web页面，例如用户登录注册才能访问的页面

爬虫如何抓取网页中的数据

网页三大特征

1. 网页都有自己唯一的URL
2. 网页都是HTML来描述页面信息
3. 网页都使用HTTP/HTTPS协议来传输HTML数据

爬虫的设计思路

1. 确定需要爬取的URL地址
2. 通过HTTP/HTTPS协议获取对应的HTML页面
3. 提取HTML页面有用的数据

通用网络爬虫

通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

搜索引擎如何获取一个新网站的URL

1. 新网站向搜索引擎主动提交网址：（如百度http://zhanzhang.baidu.com/linksubmit/url）
2. 在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围）
3. 搜索引擎和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取

Robots协议

Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些
页面可以抓取，哪些页面不能抓取，例如：

• 淘宝网：https://www.taobao.com/robots.txt
• 腾讯网： http://www.qq.com/robots.txt

通用搜索引擎（Search Engine）工作流程

第一步：抓取网页

基本工作流程如下：

1. 首先选取一部分的种子URL，将这些URL放入待抓取URL队列；
2. 取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。
3. 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环…

第二步：数据存储

搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。
搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到访问权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。

第三步：预处理

搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理。

• 提取文字
• 中文分词
• 消除噪音（比版权声明文字、导航条、广告等……）
• 索引处理
• 链接关系计算
• 特殊文件处理

第四步：提供检索服务，网站排名

搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检
索相关的信息展示给用户。同时会根据页面的PageRank值（链接的访问量排名）来进行网站排名，这样Rank值⾼的网站在搜索结果中会排名较前，当然也可以直接使用 Money 购买
搜索引擎网站排名，简单粗暴。

聚焦网络爬虫

聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，
尽量保证只抓取与需求相关的网页信息。而我们今后要学习的网络爬虫，就是聚焦爬虫。

工作流程