文章目录
网络模型
OSI七层模型(网络通信工作流程的标准化)
应用层 : 提供用户服务,具体功能由特定的程序而定
表示层 : 数据的压缩优化,加密
会话层 : 建立应用级的连接,选择传输服务
传输层 : 提供不同的传输服务。流量控制
网络层 : 路由选择,网络互连
链路层 : 进行数据转换,具体消息的发送,链路连接
物理层 : 物理硬件,接口设定,网卡路由交换机等
OSI七层模型优点 :
- 将工作流程标准化
- 降低了模块间的耦合度,使每一部分可以单独开发,单独工作。
四层模型
应用层 : 应用层,表示层,会话层
传输层
网络层
物理链路层
五层模型(TCP/IP模型)
应用层 : 应用层,表示层,会话层
传输层
网络层
链路层
物理层
数据传输流程
1. 发送端由应用层到物理层逐层添加信息头(首部),最终在物理层发送。
2. 中间经过节点(交换机,路由器等)转发,发送到接收端
3. 在接收端根据发送端的每个信息头进行解析,最终消息到应用层展示给用户。
网络协议
在网络通信中双方都遵循的规定。包括建立什么样的网络结构,消息结构,标识代表什么等。
应用层 : TFTP HTTP DNS SMTP
传输层 : TCP UDP
网络层 : IP
物理层 : IEEE
网络相关概念
网络主机 : 在网络中标识一台计算机 HOST
本地使用 :'localhost'
'127.0.0.1'
网络使用 : '0.0.0.0'
'x.x.x.x'
ifconfig : 查看IP信息
获取计算机名
socket.gethostname()
通过计算机名获取地址
socket.gethostbyname('localhost')
'127.0.0.1'
IP地址
网络上确定一台主机网络位置的地址
IPv4 : 点分十进制 x.x.x.x 0--255
IPv6 : 128位
ping ip : 测试和某台网络主机是否联通
特殊IP地址
127.0.0.1 本地测试IP
0.0.0.0 使用本机可用IP
192.168.1.0 表示网段IP
192.168.1.1 网关IP
192.168.1.255 广播地址
通过地址获取主机网络信息
socket.gethostbyaddr('www.baidu.com')
('127.0.0.1', [], ['119.75.216.20'])
主机名 别名 网络地址
点分十进制地址转换为二进制
socket.inet_aton('192.168.1.2')
b'\xc0\xa8\x01\x02'
二进制地址转换为点分十进制
socket.inet_ntoa(b'\xc0\xa8\x01\x02')
'192.168.1.2'
域名 : 网络服务器地址的名称
1. 方便记忆
2. 名称表达一定的含义
网络端口号
端口是网络地址的一部分,用于区分一个网络主机上的网络应用
* 在一个操作系统中不同的网络应用监听不同的端口号
取值范围 : 1--65535
1--255 一些众所周知的通用端口
256--1023 系统应用端口
1024 ---65535 自用端口
建议使用 >10000
获取一个应用的端口信息
socket.getservbyname('mysql')
3306
网络字节序 : 数据在网络中的传输格式
传输层服务
面向连接的传输服务
基于tcp协议的数据传输
传输特征 : 提供可靠的数据传输,可靠性指数据传输过程中无丢失,无失序,无差错,无重复。
实现手段: 数据传输断开前都需要进行传输和断开的确认
三次握手 : tcp传输在数据传输前建立连接的过程
1. 客户端向服务器发送连接请求
2. 服务器收到请求后,恢复确认消息,表示允许连接
3. 客户端收到服务器恢复,进行最终标志发送确认连接
四次挥手 : tcp传输在连接断开前进行断开确认的过程
1. 主动发发送报文告知被动方要断开连接
2. 被动方收到请求后立即返回报文告知已经准备断开
3. 被动方准备就绪后再次发送报文告知可以断开
4. 主动方发送消息,确认最终断开
应用情况 : 适用于传输较大的文件,网络情况良好,需要保证传输可靠性的情况。 比如: 网页的获取,文件下载,邮件传输,登录注册
面向无连接的传输服务
基于udp协议的传输
传输特点 : 不保证传输的可靠性,传输过程没有连接和断开的流程,数据收发自由。
使用情况 : 网络情况较差,对传输可靠性要求不高,需要提升传输效率。不便连接,需要灵活收发消息。 比如:网络视频,群聊,广播发送
socket套接字编程
目标: 根据socket模块提供的接口函数,进行组合使 用完成基于tcp或者udp的网路编程。
套接字 : 完成上述目标的一种编程手段,编程方案
套接字分类:
流式套接字(SOCK_STREAM): 传输层基于tcp协议 的套接字编程方案。
数据报套接字(SOCK_DGRAM): 传输层基于udp协议的套接字编程方案。
底层套接字(SOCK_RAM):访问底层协议的套接字编程。
* 面向连接的传输--tcp协议--可靠地--流式套接字
* 面向无连接传输--udp协议--不可靠--数据报套接字
tcp套接字服务端编程
import socket
1. 创建套接字
ss = socket.socket(socket_family = AF_INET,
socket_type = SOCK_STREAM,
proto = 0)
功能 : 创建套接字
参数 : socket_family : 选择地址族类型 AF_INET
socket_type : 套接字类型 SOCK_STREAM 流式
SOCK_DGRAM 数据报
proto : 选择子协议类型 通常为0
返回值 : 返回套接字对象
2. 绑定服务端地址
ss.bind(addr)
功能 : 绑定IP地址
参数 : 元组 (ip,port)
localhost 可以被本机用 127.0.0.1
127.0.0.1 同上
x.x.x.x 可以被所有人用x.x.x.x访问
0.0.0.0 可以被所有人用x.x.x.x访问
也可被自己用127.0.0.1访问
3. 设置监听套接字
ss.listen(n)
功能:将套接字设置为监听套接字,创建监听队列
参数:n 表示监听队列大小
* 一个监听套接字可以连接多个客户端套接字
4. 等待处理客户端连接请求
cs,addr = ss.accept()
功能 : 阻塞等待处理客户端连接
返回值: cs 客户端连接套接字
addr 连接的客户端地址
* 阻塞函数 : 程序运行过程中遇到阻塞函数则暂停运行,
* 直到某种阻塞条件达成再继续运行。
5. 消息收发
data = cs.recv(buffersize)
功能 : 接收对应客户端消息
参数 : 一次最多接收多少字节
返回值 : 接收到的内容
* 如果没有消息则会阻塞
n = cs.send(data)
功能 : 发送消息给对应客户端
参数 : 要发送的内容,必须是bytes格式
返回值 : 返回实际发送消息的大小
6. 关闭套接字
ss.close()
功能: 关闭套接字
tcp客户端
1. 创建套接字
* 必须相同类型的套接字才能通信
2. 建立连接
sockfd.connect(servr_addr)
功能 : 建立连接
参数 : 元组, 服务端地址
3. 消息收发
* 消息收发要和服务端配合,避免两边都出现recv阻塞
4. 关闭套接字
套接字传输注意事项
- 监听套接字存在客户端即可发起连接,但是最终连接的处理需要accept进行处理
- 如果连接的另外一段退出,则recv会立即返回空子串不再阻塞。
- 当连接的另一端退出时,再试图send发送就会产生BrokenPipeError
TCP粘包
产生原因: tcp套接字以字节流方式传输,没有消息边界 发送和接收并不能保证每次发送都及时的被接收
影响:如果每次发送内容表达一个独立的含义此时可能需要处理粘包防止产生歧义
处理方法:
1. 每次发送的消息添加结尾标志 (人为增加消息边界)
2. 发送数据结构体
3. 协调收发速度,每次发送后都预留接收时间
网络收发缓冲区
缓冲区作用 :协调收发(处理)速度,减少交互次数
send和recv实际上是和缓冲区进行交互,
发送缓冲区满时就无法发送,接收缓冲区满时recv才阻塞
基于udp套接字的服务端
1. 创建数据报套接字
sockfd = socket(AF_INET,SOCK_DGRAM)
2. 绑定地址
sockfd.bind(addr)
3. 消息的收发
data,addr = sockfd.recvfrom(buffersize)
功能 : 接收UDP消息
参数 : 每次最多接收多大的消息
返回值:data 接收到的数据
addr 消息发送端的地址
* 一次接收一个数据报,如果数据报大小大于buffersize则会丢失部分消息
sockfd.sendto(data,addr)
功能 : 发送udp消息
参数 : data 发送的消息 bytes格式
addr 目标地址
返回值: 发送的字节数
4. 关闭套接字
sockfd.close()
udp客户端
1. 创建套接字
socket(AF_INET,SOCK_DGRAM)
2. 消息收发
recvfrom/sendto
3. 关闭套接字
close()
tcp套接字编程和udp套接字编程区别
- 流式套接字使用字节流的方式传输,数据报套接字以数据报形式传输数据
- tcp会有粘包现象,udp有消息边界不会形成粘包
- tcp 可以保障数据传输完整性,udp则不保证
- tcp 需要进行listen accept 操作,udp不需要
- tcp收发消息使用新的套接字,recv send。udp使用recvfrom,sendto
套接字对象
s代表一个套接字
s.family : 获取套接字地址族类型
s.type : 获取套接字类型
s.getsockname() : 获取套接字的绑定地址
s.fileno() : 获取套接字的文件描述符
文件描述符 : 每一个IO事件操作系统都会分配一个不同的正整数作为编号,
改正整数即为这个IO的文件描述符。
* 文件描述符是操作系统识别IO的唯一标志
stdin ---> 0
stdout --> 1
stderr --> 2
s.getpeername() : 获取客户端连接套接字的对应地址
s.setsockopt(level,option,value)
功能:设置套接字选项,丰富或者修改套接字属性功能
参数: level 选项类别 SOL_SOCKET
option 具体选项
value 选项值
s.getsockopt(level,option)
功能:获取套接字选项值
参数: level 选项类别 SOL_SOCKET
option 具体选项
返回值:选项值
* 如果要设置套接字选项,最好在创建套接字之后立即设置
udp 应用之广播
广播 : 一点发送,多点接收
广播地址 : 一个网段内有一个指定的广播地址,是该网段的最大地址。 192.168.207.255
广播风暴 : 一个网络中有大量的广播就会产生广播风暴占用大量带宽,影响正常的访问速度。
tcp应用之http传输
http协议 : 超文本传输协议,是一个应用层协议
用途 : 网页数据的传输
数据传输方法
特点 :
1. 应用层协议,传输层使用tcp服务
2. 简单,灵活,多种语言都有http相关操作接口
3. 无状态的协议,即不记录用户传输的信息
4. http1.1 支持持久连接
一端通过http请求的格式发送具体请求内容,另一端接收http请求,按照协议格式解析。获取真实请求后按照http协议响应格式组织回复内容,回发给请求方,完成一次数据交互。
http协议
http请求 (request)
请求格式:
请求行 : 具体的请求类别和请求内容
格式: GET / HTTP/1.1
请求类别 请求内容 协议版本
请求类别 : 表示请求的种类
GET 获取网络资源
POST 提交一定的附加信息,得到返回结果
HEAD 获取响应头
PUT 更新服务器资源
DELETE 删除服务器资源
CONNECT
TRACE 用于测试
OPTIONS 获取服务器性能信息
请求头 : 对请求内容的具体描述信息
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cache-Control: max-age=0
Connection: keep-alive
空行
请求体 : 请求参数或者是提交内容
http响应 (response)
响应格式
响应行 : 反馈响应的情况
格式 : HTTP/1.1 200 OK
协议版本 响应码 附加信息
响应码 : 响应的具体情况
1xx : 提示信息,表示请求成功
2xx : 响应成功
3xx : 响应需要重定向
4xx : 客户端错误
5xx : 服务端错误
常见响应码 : 200 成功
404 请求内容不存在
401 没有访问权限
500 服务器发生未知错误
503 暂时无法执行
响应头 : 对响应内容的具体描述
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html
Date: Thu, 06 Sep 2018 09:11:18 GMT
空行
响应体 : 返回给请求端的具体内容