这篇博文,主要是结合CriseLYJ/Python-crawler-tutorial-starts-from-zero内关于Python爬虫的预备知识进行记录的。
爬虫的定义、分类和流程
- 爬虫定义
- 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
- 爬虫就是模拟浏览器的行为,越像越好,越像就越不容易被发现。
- 原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做。
- 爬虫的分类
- 通用爬虫:通常指搜索引擎的爬虫
- 聚焦爬虫:针对特定网站的爬虫
- 爬虫的流程
爬虫流程步骤如下:- 向起始url发送请求,并获取响应
- 对响应进行提取
- 如果提取url,则继续发送请求获取响应
- 如果提取数据,则将数据进行保存
- robots 协议
Robots 协议:网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,但它仅仅是道德层面上的约束。例如百度资源搜索平台内关于robots的作用解释,其中最重要的也就是robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
HTTP
- OSI七层网络模型
- HTTP概念
HTTP(超文本传输协议)是应用层上的一种客户端/服务端模型的通信协议,它由请求和响应构成,且是无状态的。 协议:协议规定了通信双方必须遵守的数据传输格式,这样通信双方按照约定的格式才能准确的通信。 无状态:无状态是指两次谅解通信之间是没有任何联系的,每次都是一个新的连接,服务端不会记录前后的请求信息。 - HTTP 请求流程
- List item
- 浏览器先向 IP 发起请求,并获取相应
- 在返回的响应内容(html)中,会带有 css、js、图片等 url 地址,以及 ajax 代码,浏览器按照响应内容中的顺序依次发送其他的请求,并获取相应的响应
- 浏览器每获取一个响应就对展示出的结果进行添加(加载),js,css 等内容会修改页面的内容,js也可以重新发送请求,获取响应
- 从获取第一个响应并在浏览器中展示,直到最终获取全部响应,并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染
- HTTP协议结构图
- 请求url 地址格式
格式说明: scheme://host[:port]/path/…/[?query-string][#anchor]
1. scheme:协议(例如:http, https, ftp)
2. host:服务器的 IP 地址或者域名
3. port:服务器的端口(如果是走协议默认端口,缺省端口80)
4. path:访问资源的路径
5. query-string:参数,发送给 http 服务器的数据
6. anchor:锚(跳转到网页的指定锚点位置)
- HTTP 请求
- 格式
- 案例
- 格式
HTTP请求
根据 HTTP 标准,HTTP 请求可以使用多种请求方法。
HTTP1.0 定义了三种请求方法: GET, POST 和 HEAD 方法。
HTTP1.1 新增了五种请求方法:OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。
- 请求方式
请求方式 | 描述 |
---|---|
GET | 请求指定的页面信息,并返回实体主体。 |
HEAD | 类似于 get 请求,只不过返回的响应中没有具体的内容,用于获取报头 |
POST | 向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。数据被包含在请求体中。POST 请求可能会导致新的资源的建立和/或已有资源的修改。 |
PUT | 从客户端向服务器传送的数据取代指定的文档的内容 |
DELETE | 请求服务器删除指定的页面。 |
CONNECT | HTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器。 |
OPTIONS | 允许客户端查看服务器的性能。 |
TRACE | 回显服务器收到的请求,主要用于测试或诊断。 |
- 常见的请求头
请求头 | 作用 |
---|---|
Cookie | Cookie |
User-Agent | 浏览器名称 |
Referer | 页面跳转处 |
Host | 主机和端口号 |
Connection | 链接类型 |
Upgrade-Insecure-Requests | 升级为 HTTPS 请求 |
Accept | 传输文件类型 |
Accept-Encoding | 文件编解码格式 |
x-requested-with : XMLHttpRequest | ajax 请求 |
点击查看更多:CriseLYJ/Python-crawler-tutorial-starts-from-zero 或是掘金文章:关于常用的http请求头以及响应头详解
HTTP响应
- 响应格式
HTTP响应也由四个部分组成,分别是:状态行、消息报头、空行(回车符 + 换行符)和响应正文。
- 响应头
响应头 | 作用 |
---|---|
Location | 这个头配合 302 状态码使用,告诉用户端找谁。 |
Set-Cookie | 设置和页面关联的 Cookie |
Content-Type | 服务器通过这个头,回送数据的类型 |
Server | 服务器通过这个头,告诉浏览器服务器的类型 |
Content-Length | 服务器通过这个头,告诉浏览器回送数据的长度 |
Connection | 服务器通过这个头,响应完是保持链接还是关闭链接 |
- HTTP 响应状态码
分类 | 分类描述 |
---|---|
1** | 信息,服务器收到请求,需要请求者继续执行操作 |
2** | 成功,操作被成功接收并处理 |
3** | 重定向,需要进一步的操作以完成请求 |
4** | 客户端错误,请求包含语法错误或无法完成请求 |
5** | 服务器错误,服务器在处理请求的过程中发生了错误 |
常见的状态码:
- 200 - 请求成功
- 301 - 资源(网页等)被永久转移到其它 URL
- 404 - 请求的资源(网页等)不存在
- 500 - 内部服务器错误
点击查看更多关于响应头内容:CriseLYJ/Python-crawler-tutorial-starts-from-zero 或是掘金文章:关于常用的http请求头以及响应头详解
点击查看更多关于响应状态码内容:百度百科-HTTP状态码
HTTPS
HTTP + SSL (安全套接字层),即带有安全套接字层的超本文传输协议,默认端口号:443,HTTP为默认80
- HTTPS 作用
在传输过程中对数据进行加密,防止中间路由器、交换机等中间的路由设备对数据进行篡改。 - HTTPS工作流程
- HTTP 与 HTTPS 优缺点
- HTTP 因为不需要对数据进行加密所以性能更高,但是安全性差。
- HTTPS 虽然安全性高,但是因为浏览器和服务器端需要对数据进行加解密,所以占用服务器资源。
目前 HTTPS 是未来主流,微信小程序,iOS 客户端,android 客户端的接口提供都需要 HTTPS 接口支持。
更多可以查看:https和http的主要区别
个人博客:Loak 正 - 关注人工智能及互联网的个人博客
文章地址:Python爬虫(一)—爬虫的预备知识(爬虫概念、HTTP与HTTPS、请求与响应)