python爬虫01 - 爬虫简介基本概念

一些学习方法建议

1.通讯协议

C–>D 单机版 Jerry–>有缘人

1.1端口

我们想要进行数据通讯分几步?
• 1. 找到对方ip
• 2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 ‘逻辑端口’
• 3. 定义通讯规则。这个通讯规则我们一般称之为协议

1.2 通讯协议

• 国际组织定义了通用的通信协议 TCP/IP协议
• 所谓协议就是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则
• HTTP又叫做超文本传输协议（是一种通信协议） HTTP 它的端口是 80 (都省略)

2. 网络模型

传输层就是TCP 网络层就是IP 物理层就是看的见摸得着 比如网线

后期更新了新的参考模型 TCP/IP参考模型
就是应用层 表示层 会话层 变成了应用层 数据链路层和物理层变成主机至网络层
而http就是应用层
https是http的升级版 就是以安全为目的通道 https= http +ssl https也在应用层 ssl安全套接层 https端口443 当然爬虫是用不到 面试可能

2.1 HTTPS是什么呢？

• https=http+ssl，顾名思义，https是在http的基础上加上了SSL保护壳，信息的加密过程就是在SSL中完成的
• https，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL

2.2 SSL怎么理解？

• SSL也是一个协议主要用于web的安全传输协议

2.3 Http请求与响应

HTTP通信由两部分组成： 客户端请求消息 与 服务器响应消息
Client就是客户端 Server就是服务器

1.当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。
2.当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
3.浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
4.当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了

我们可以看出 Request URL 就是我们发起请求的地址
而请求的内容一共有四个
General 就是全部的.


以上的代码相当于在网站上输入 URL回车 这个动作

2.4 客户端的Http请求

URL只是标识资源的位置，而HTTP是用来提交和获取资源。客户端发送一个HTTP请求到服务器的请求消息，包括以下格式：
请求行、请求头部、空行、请求数据
四个部分组成，下图给出了请求报文的一般格式。


点击view source(查看源代码)

比如connection 那一行 符合

头部字段名(connection)： 值(keep-alive)

我们先了解一些现在需要比较重要的头部字段名

----connection: keep-alive (长链接)
因为如果保持一个短链接 请求一次就完了
但是如果是保持一个长连接 我就需要请求一次不需要每次都请求 我这个链接就可以重用 减少资源消耗 缩短响应的时间
----Cache-Control (缓存): max-age=0(没有缓存)
----Upgrade-Insecure-Requests 是一个升级为https 的这么一个请求
比如复制百度的链接去掉https中的s 打开链接后它还是会给你升级成https
----Accept 接收 同意你传输文件的类型
就是这些文件传输的类型 * /* 表示什么类型都接收

text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8