1. 黏包
-
当发送网络数据时,tcp协议会根据Nagle算法将时间间隔短,数据量小的多个数据包打包成一个数据包,先发送到自己操作系统的缓存中,然后操作系统将数据包发送到目标程序所对应操作系统的缓存中,最后将目标程序从缓存中取出,而第一个数据包的长度,应用程序并不知道,所以会直接取出数据或者取出部分数据,留部分数据在缓存中,取出的数据可能第一个数据包和第二个数据包粘到一起
-
recv()超过限额的情况,就会出现黏包现象。
- 连续输入,数据长度小于recv的长度,会出现在同一个位置,发生黏包
-
如何解决黏包现象
-
struct模块
-
import struct res = struct.pack('i',12345) print(res,type(res),len(res)) # 打包 # b'90\x00\x00' <class 'bytes'> 4 # 发送固定的长度,为4 print(struct.unpack('i',res)) # 解包 # (12345,)
-
解决客户端黏包
-
import socket import struct def main(): tcp_client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) tcp_client.connect(('192.168.1.104', 7080)) # 1.接收数据长度,固定为4,接收报头 header = tcp_client.recv(4) # 2.从报头中获取数据的长度, data_size = struct.unpack('i', header)[0] # 3.获取真实的数据 recv_data = 0 total_data = b'' while recv_data < data_size: #建立循环接收数据,recv_data长度小于data_data长度时,停止接收 # 接收数据 data_recv = tcp_client.recv(1024) total_data += data_recv # 将数据存储到total_data中。 # 循环退出的条件 recv_data += len(data_recv) print(total_data.decode('utf-8')) tcp_client.close() if __name__ == '__main__': main()
-
解决黏包服务端
-
import socket import struct def main(): tcp_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) tcp_server.bind(('192.168.1.104', 7080)) tcp_server.listen(128) new_client_socket, client_addr = tcp_server.accept() # 1. 发送数据长度 content = '''...Hello Python...''' # 2. 发送报头,转成int类型。 res = struct.pack('i',len(content)) new_client_socket.send(res) new_client_socket.send(content.encode('utf-8')) if __name__ == '__main__': main()
2. HTTP
-
HTTP 协议的介绍
- HTTP 协议的全称是(HyperText Transfer Protocol),翻译过来就是超文本传输协议。
- 超文本是超级文本的缩写,是指超越文本限制或者超链接,比如:图片、音乐、视频、超链接等等都属于超文本。
- HTTP 协议的制作者是蒂姆·伯纳斯-李,1991年设计出来的,HTTP 协议设计之前目的是传输网页数据的,现在允许传输任意类型的数据。
- 传输 HTTP 协议格式的数据是基于 TCP 传输协议的,发送数据之前需要先建立连接。
-
HTTP 协议的作用
- 它规定了浏览器和 Web 服务器通信数据的格式,也就是说浏览器和web服务器通信需要使用http协议。
-
浏览器访问web服务器的通信过程
- 通信效果图:
-
URL
-
URL的概念
- URL的英文全拼是(Uniform Resoure Locator),表达的意思是统一资源定位符,通俗理解就是网络资源地址,也就是我们常说的网址。
-
URL的组成
- URL的样子:
https://news.163.com/18/1122/10/E178J2O4000189FH.html
- URL的样子:
-
URL的组成部分:
- 协议部分:
https://
、http://
、ftp://
- 域名部分:
news.163.com
- 资源路径部分:
/18/1122/10/E178J2O4000189FH.html
- 协议部分:
-
域名:
- 域名就是IP地址的别名,它是用点进行分割使用英文字母和数字组成的名字,使用域名目的就是方便的记住某台主机IP地址。
-
URL的扩展:
https://news.163.com/hello.html?page=1&count=10
- 查询参数部分:
?page=1&count=10
- 查询参数部分:
-
参数说明:
?
后面的 page 表示第一个参数,后面的参数都使用&
进行连接
3. 查看HTTP协议的通信过程
-
下载安装google chrome(谷歌浏览器)。点击F12打开开发者工具。
-
开发者工具的标签选项说明:
-
元素(Elements):用于查看或修改HTML标签
-
控制台(Console):执行js代码
-
源代码(Sources):查看静态资源文件,断点调试JS代码
-
网络(Network):查看http协议的通信过程
-
开发者工具的使用说明:
- 点击Network标签选项
- 在浏览器的地址栏输入百度的网址,就能看到请求百度首页的http的通信过程
- 这里的每项记录都是请求 + 响应的一次过程
-
查看HTTP协议的通信过程
- HTTP 请求报文
浏览器发送给web服务器程序的数据
- HTTP 请求报文介绍
HTTP最常见的请求报文有两种:
- GET 方式的请求报文
- POST 方式的请求报文
说明:
-
GET: 获取web服务器数据
-
POST: 向web服务器提交数据
-
HTTP GET 请求报文分析
感谢HTTP头信息解:https://www.cnblogs.com/wanghuaqiang/p/12093563.html
- GET 请求报文说明:
---请求行---
- GET / HTTP/1.1
# GET 请求方式 / 请求资源路径 HTTP/1.1 HTTP协议版本
---请求头---
- Host: www.baidu.com
# 访问的web服务器的域名
- Connection: keep-alive
# keep-alive 和服务端保持长连接
- Cache-Control: max-age=0
# Cache-Control 缓存。使用上一次缓存机制。
# 也可以在开发者页面里关闭Disable Cashe,开发项目时将其勾选上。
- Upgrade-Insecure-Requests: 1
# 浏览器升级,将HTTP升级成HTTPS
- User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36
# 用户代理,我现在用的windows系统
- Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signedexchange;v=b3;q=0.9
# 可以接收的数据类型
- Sec-Fetch-Site: none
- Sec-Fetch-Mode: navigate
- Sec-Fetch-User: ?1
- Sec-Fetch-Dest: document
# 百度特有的
- Accept-Encoding: gzip, deflate, br
# 可接收的压缩格式
- Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,ja;q=0.6,zh-TW;q=0.5
# 可接收的语言
- Cookie: BIDUPSID
# 登录用户的身份表示
---空行---
- GET请求原始报文
GET / HTTP/1.1\r\n
Host: www.baidu.com\r\n
Connection: keep-alive\r\n
Upgrade-Insecure-Requests: 1\r\n
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36\r\n
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\n
Accept-Encoding: gzip, deflate\r\n
Accept-Language: zh-CN,zh;q=0.9\r\n
Cookie: pgv_pvi=1246921728; \r\n
\r\n (请求头信息后面还有一个单独的’\r\n’不能省略)
- HTTP POST 请求报文分析
---- 请求行 ----
- POST /xmweb?host=mail.baidu.cn&_t=1542884567319 HTTP/1.1
# POST请求方式 请求资源路径 HTTP协议版本
---- 请求头 ----
- Host: mail.itcast.cn
# 服务器的主机地址和端口号,默认是80
- Connection: keep-alive
# 和服务端保持长连接
- Content-Type: application/x-www-form-urlencoded
# 告诉服务端请求的数据类型
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36 # 客户端的名称
---- 空行 ----
---- 请求体 ----
username=hello&pass=hello # 请求参数
- POST 请求原始报文说明:
POST /xmweb?host=mail.baidu.com&_t=1542884567319 HTTP/1.1\r\n
Host: mail.itcast.cn\r\n
Connection: keep-alive\r\n
Content-Type: application/x-www-form-urlencoded\r\n
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36\r\n
\r\n(请求头信息后面还有一个单独的’\r\n’不能省略)
username=hello&pass=hello
-
对比总结
- 一个HTTP请求报文可以由请求行、请求头、空行和请求体4个部分组成。
- 请求行是由三部分组成:
-
-
请求方式
- 请求资源路径
- HTTP协议版本
-
- GET方式的请求报文没有请求体,只有请求行、请求头、空行组成。
- POST方式的请求报文可以有请求行、请求头、空行、请求体四部分组成,注意:POST方式可以允许没有请求体,但是这种格式很少见。
-
GET和POST请求对比
- HTTP响应报文
--- 响应行/状态行 ---
HTTP/1.1 200 OK # HTTP协议版本 状态码 状态描述
--- 响应头 ---
Server: Tengine # 服务器名称
Content-Type: text/html; charset=UTF-8 # 内容类型
Transfer-Encoding: chunked # 发送给客户端内容不确定内容长度,发送结束的标记是0\r\n, Content-Length表示服务端确定发送给客户端的内容大小,但是二者只能用其一。
Connection: keep-alive # 和客户端保持长连接
Date: Fri, 23 Nov 2018 02:01:05 GMT # 服务端的响应时间
--- 空行 ---
--- 响应体 ---
<!DOCTYPE html><html lang=“en”> …</html> # 响应给客户端的数据
原始响应报文说明:
HTTP/1.1 200 OK\r\n
Server: Tengine\r\n
Content-Type: text/html; charset=UTF-8\r\n
Transfer-Encoding: chunked\r\n
Connection: keep-alive\r\n
Date: Fri, 23 Nov 2018 02:01:05 GMT\r\n
\r\n(响应头信息后面还有一个单独的’\r\n’不能省略)
<!DOCTYPE html><html lang=“en”> …</html>
- HTTP 状态码介绍
HTTP 状态码是用于表示web服务器响应状态的3位数字代码。
状态码 | 说明 |
---|---|
200 | 请求成功 |
307 | 重定向 |
400 | 错误的请求,请求地址或者参数有误 |
404 | 请求资源在服务器不存在 |
500 | 服务器内部源代码出现错误 |
4. 静态web服务器
-
静态web服务器,就是刷新页面,页面内容不会变化就是静态web服务器。
-
静态Web服务器是什么?
可以为发出请求的浏览器提供静态文档的程序。
平时我们浏览百度新闻数据的时候,每天的新闻数据都会发生变化,那访问的这个页面就是动态的,而我们开发的是静态的,页面的数据不会发生变化。
-
如何搭建Python自带的静态Web服务器
搭建Python自带的静态Web服务器使用 python3 -m http.server 端口号
-
-m选项说明:
-
-m表示运行包里面的模块,执行这个命令的时候,需要进入你自己指定静态文件的目录,然后通过浏览器就能访问对应的 html文件了,这样一个静态的web服务器就搭建好了。
-
访问搭建的静态Web服务器
- 通过浏览器访问搭建的静态Web服务器
-
开发自己的静态Web服务器
-
返回固定页面数据
-
实现步骤:
- 编写一个TCP服务端程序
- 获取浏览器发送的http请求报文数据
- 读取固定页面数据,把页面数据组装成HTTP响应报文数据发送给浏览器。
- HTTP响应报文数据发送完成以后,关闭服务于客户端的套接字。
-
import socket
def main():
tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_server_socket.bind(('192.168.1.100', 9000))
tcp_server_socket.listen(128)
while True:
new_socket, new_addr = tcp_server_socket.accept()
recv_client_data = new_socket.recv(4096)
print(recv_client_data)
if __name__ == '__main__':
main()
-
没有响应报文,文件在一直转。
-
添加响应报文
import socket
def main():
tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_server_socket.bind(('192.168.1.100', 9000))
tcp_server_socket.listen(128)
while True:
new_socket, new_addr = tcp_server_socket.accept()
recv_client_data = new_socket.recv(4096)
recv_client_content = recv_client_data.decode('utf-8')
print(recv_client_content)
if __name__ == '__main__':
main()
- 完善一下
import socket
def main():
tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_server_socket.bind(('192.168.1.100', 9000))
tcp_server_socket.listen(128)
while True:
new_socket, new_addr = tcp_server_socket.accept()
recv_client_data = new_socket.recv(4096)
# print(recv_client_data)
recv_client_content = recv_client_data.decode('utf-8')
print(recv_client_content)
with open("static/index.html", 'r') as f:
file_data = f.read()
# 响应报文
# 响应行
response_line = 'HTTP/1.1 200 OK\r\n'
# 响应头
response_header = 'Server: PWS/1.1\r\n'
# 空行
# 响应体
response_body = file_data
response_data = response_line + response_header + "\r\n" + file_data
# 发送
new_socket.send(response_data.encode())
new_socket.close()
if __name__ == '__main__':
main()
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Hello Python</title>
</head>
<body>
<h1>Hello World</h1>
</body>
</html>