python爬虫一：数据采集

爬虫简介

一、根据使用场景，网络爬虫可分为：通用爬虫 和 聚焦爬虫两种：

• 通用爬虫：

1. 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分；
2. 主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份；
3. 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着 整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。
4. 搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。
   rel=“nofollow”，告诉搜索引擎爬虫无需抓取目标页，同时告诉搜索引擎无需将的当前页的Pagerank传递到目标页.
   Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
5. 通用爬虫的局限性
   大多情况下，网页里90%的内容对用户来说都是无用的。
   搜索引擎无法提供针对具体某个用户的搜索结果。
   图片、数据库、音频、视频多媒体等不能很好地发现和获取。
   基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。

• 聚焦爬虫(重点）

1. 聚焦爬虫，是 “面向特定主题需求” 的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

二、 网络爬虫抓取过程可以理解为模拟浏览器操作的过程。

• 要重点理解，当用户输入一个URL后，发生了什么：

一、浏览器获取资源的过程：
1、输入url
2、浏览器解析url，获得主机名
3、将主机名转换成服务器ip地址（查找本地DNS缓存列表，如果没有则向默认的DNS服务器发送查询请求）
4、浏览器建立一条与服务器的TCP连接（三次握手）
5、浏览器向服务器发送http请求
6、服务器向浏览器返回请求响应
7、浏览器关闭连接，并解析文档