python3爬虫实践（二）——爬虫前奏

一、爬虫简介

1.1：什么是网络爬虫

• 通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并将数据抓取下来，然后使用一定的规则提取有价值的数据。
• 专业介绍：百度百科

1.2：通用爬虫和聚焦爬虫

• 通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
• 聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候对内容进行刷选和处理，尽量保证只抓取与需求相关的网页信息。

二、Http 协议

2.1：什么是 http 和 https 协议

• HTTP 协议：是超文本传输协议，是一种发布和接收 HTML 页面的方法。服务器端口号是80端口。
• HTTPS 协议：是 HTTP 协议的加密版本，在 HTTP 协议下加入了 SSL 层。服务器端口号是443端口。

2.2：在浏览器中发送一个 Http 请求的过程

• 当用户在浏览器的地址栏中输入一个 URL 并按回车键之后，浏览器会向 HTTP 服务器发送 HTTP 请求。HTTP 请求主要分为“Get”和“Post”两种方法。
• 当我们在浏览器中输入 URL 的时候，浏览器发送一个 Request 请求去获取 URL 的 html 文件，服务器把 Request 文件对象发送回给浏览器。
• 浏览器分析 Request 中的 Html，发现其中引用了很多其他文件，比如Images文件、CSS文件、JS文件。浏览器自动再次发送 Request 去获取图片、CSS文件、或者JS文件。
• 当所有的文件都下载成功后，网页会根据 Html 语法结构，完整的显示出来。

2.3：URL 详解

• URL 是 Uniform Resource Locator 的缩写，统一资源定位符，一个 URL 由以下几部分组成：

	scheme://host:port/path/?query-string=xxx#anchor

• scheme：代表的是访问协议，一般为 Http 或者 Https 以及 Ftp 等。
• host：主机名，域名，比如 www.baidu.com
• port：端口号。当你访问一个网站的时候，浏览器默认使用80端口。
• path：查找路径。比如：www.jianshu.com/trending/now，后面的 trending/now 就是 path
• query-string：查询字符串。比如：www.baidu.com/s?wd=python，后面的 wd=python 就是查询字符串。
• anchor：锚点。后台一般不用管，前端用来做页面定位的。

2.4：常用请求方法

• 在 Http 协议中，定义了八种请求方法。这里介绍两种常用的请求方法，分别是 get 请求和 post 请求。

get 请求	一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用 get 请求
post 请求	向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用 post 请求

• 网站开发过程中一般都会遵循使用的规则，但是有的网站和服务器为了做反爬虫机制，也经常会不安常理出牌，有可能一个应该使用 get 方法的请求就一定要改成 post 请求，这个要视情况而定。

2.5：请求头常见参数

• 在 Http 协议中，向服务器发送一个请求，数据分为三个部分，第一个是把数据放在 URL 中，第二个是把数据放在 Body 中（在 post 请求中），第三个就是把数据放在 Head 中。这里介绍在网络爬虫中经常用到的一些请求头参数：

User-Agent	浏览器名称。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是哪种浏览器发送的。如果我们是通过爬虫发送，那么我们的 User-Agent 就是 Python，这对于那些有反爬虫机制的网站来说，可以轻易的判断你这个请求是爬虫。因此我们要经常设置这个值为一些浏览器，来伪装我们的爬虫
Referer	表明当前这个请求是从哪个 URL 来的。这个一般也可以用来做反爬虫技术。如果不是从制定页面过来的，那么就不做相关的响应
Cookie	Http 协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求来自同一个人。因此这时候就用 Cookie 来做标识。一般如果想要做登录后才能访问网站，那么就需哟发送 Cookie 信息了

2.6：常见响应状态码

200	请求正常，服务器正常的返回数据（数据是否正确是不定的）
301	永久重定向。比如在访问 www.jingdong.com 的时候会重定向到 www.jd.com
302	临时重定向。比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录界面
400	请求的 URL 在服务器找不到。换句话说就是请求 URL 错误
403	服务器拒绝访问，权限不够
500	服务器内部错误。可能是服务器出现 bug 了