一、网络结构模式
1、C/S结构
服务器 - 客户机,即 Client - Server(C/S)结构。C/S 结构通常采取两层结构。服务器负责数据的 管理,客户机负责完成与用户的交互任务。客户机是因特网上访问别人信息的机器,服务器则是提供信息供人访问的计算机。
客户机通过局域网与服务器相连,接受用户的请求,并通过网络向服务器提出请求,对数据库进行 操作。服务器接受客户机的请求,将数据提交给客户机,客户机将数据进行计算并将结果呈现给用 户。服务器还要提供完善安全保护及对数据完整性的处理等操作,并允许多个客户机同时访问服务 器,这就对服务器的硬件处理数据能力提出了很高的要求。
在C/S结构中,应用程序分为两部分:服务器部分和客户机部分。服务器部分是多个用户共享的信 息与功能,执行后台服务,如控制共享数据库的操作等;客户机部分为用户所专有,负责执行前台 功能,在出错提示、在线帮助等方面都有强大的功能,并且可以在子程序间自由切换。
2、C/S结构的优点
1)能充分发挥客户端 PC 的处理能力,很多工作可以在客户端处理后再提交给服务器,所以 C/S 结构客户端响应速度快;
2)操作界面漂亮、形式多样,可以充分满足客户自身的个性化要求;
3)C/S 结构的管理信息系统具有较强的事务处理能力,能实现复杂的业务流程;
4)安全性较高,C/S 一般面向相对固定的用户群,程序更加注重流程,它可以对权限进行多层次校 验,提供了更安全的存取模式,对信息安全的控制能力很强,一般高度机密的信息系统采用 C/S 结 构适宜。
3、C/S结构的缺点
1)客户端需要安装专用的客户端软件。首先涉及到安装的工作量,其次任何一台电脑出问题,如病 毒、硬件损坏,都需要进行安装或维护。系统软件升级时,每一台客户机需要重新安装,其维护和升级成本非常高;
2)对客户端的操作系统一般也会有限制,不能够跨平台。
4、B/S结构
B/S 结构(Browser/Server,浏览器/服务器模式),是 WEB 兴起后的一种网络结构模式,WEB 浏览器是客户端最主要的应用软件。这种模式统一了客户端,将系统功能实现的核心部分集中到服 务器上,简化了系统的开发、维护和使用。客户机上只要安装一个浏览器,如 Firefox 或 Internet Explorer,服务器安装 SQL Server、Oracle、MySQL 等数据库。浏览器通过 Web Server 同数据 库进行数据交互。
5、B/S结构的优点
B/S 架构最大的优点是总体拥有成本低、维护方便、 分布性强、开发简单,可以不用安装任何专门的软 件就能实现在任何地方进行操作,客户端零维护,系统的扩展非常容易,只要有一台能上网的电脑就能 使用。
6、B/S结构的缺点
1)通信开销大、系统和数据的安全性较难保障;
2)个性特点明显降低,无法实现具有个性化的功能要求;
3)协议一般是固定的:http/https;
4)客户端服务器端的交互是请求-响应模式,通常动态刷新页面,响应速度明显降低。
二、MAC地址、IP地址、端口
1、MAC地址
网卡是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件,又称为网络适配器或网 络接口卡NIC。其拥有 MAC 地址,属于 OSI 模型的第 2 层,它使得用户可以通过电缆或无线相互 连接。每一个网卡都有一个被称为 MAC 地址的独一无二的 48 位串行号。
网卡的主要功能:1.数据的封装与解封装、2.链路管理、3.数据编码与译码。
MAC 地址(Media Access Control Address),直译为媒体存取控制位址,也称为局域网地址、 以太网地址、物理地址或硬件地址,它是一个用来确认网络设备位置的位址,由网络设备制造商生 产时烧录在网卡中。在 OSI 模型中,第三层网络层负责 IP 地址,第二层数据链路层则负责 MAC 位址 。MAC 地址用于在网络中唯一标识一个网卡,一台设备若有一或多个网卡,则每个网卡都需 要并会有一个唯一的 MAC 地址。
MAC 地址的长度为 48 位(6个字节),通常表示为 12 个 16 进制数,如:00-16-EA-AE-3C-40 就 是一个MAC 地址,其中前 3 个字节,16 进制数 00-16-EA 代表网络硬件制造商的编号,它由 IEEE(电气与电子工程师协会)分配,而后 3 个字节,16进制数 AE-3C-40 代表该制造商所制造的 某个网络产品(如网卡)的系列号。只要不更改自己的 MAC 地址,MAC 地址在世界是唯一的。 形象地说,MAC 地址就如同身份证上的身份证号码,具有唯一性。
2、IP地址
IP 协议是为计算机网络相互连接进行通信而设计的协议。在因特网中,它是能使连接到网上的所 有计算机网络实现相互通信的一套规则,规定了计算机在因特网上进行通信时应当遵守的规则。任 何厂家生产的计算机系统,只要遵守 IP 协议就可以与因特网互连互通。各个厂家生产的网络系统 和设备,如以太网、分组交换网等,它们相互之间不能互通,不能互通的主要原因是因为它们所传 送数据的基本单元(技术上称之为“帧”)的格式不同。IP 协议实际上是一套由软件程序组成的协议 软件,它把各种不同“帧”统一转换成“IP 数据报”格式,这种转换是因特网的一个最重要的特点,使所有各种计算机都能在因特网上实现互通,即具有“开放性”的特点。正是因为有了 IP 协议,因特网才得以迅速发展成为世界上最大的、开放的计算机通信网络。因此,IP 协议也可以叫做“因特网协议”。
IP 地址(Internet Protocol Address)是指互联网协议地址,又译为网际协议地址。IP 地址是 IP 协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以 此来屏蔽物理地址的差异。
IP 地址是一个 32 位的二进制数,通常被分割为 4 个“ 8 位二进制数”(也就是 4 个字节)。IP 地址 通常用“点分十进制”表示成(a.b.c.d)的形式,其中,a,b,c,d都是 0~255 之间的十进制整数。 例:点分十进IP地址(100.4.5.6),实际上是 32 位二进制数
3、IP地址编址方式
最初设计互联网络时,为了便于寻址以及层次化构造网络,每个 IP 地址包括两个标识码(ID),即网络 ID 和主机 ID。同一个物理网络上的所有主机都使用同一个网络 ID,网络上的一个主机(包括网络上工 作站,服务器和路由器等)有一个主机 ID 与其对应。Internet 委员会定义了 5 种 IP 地址类型以适合不 同容量的网络,即 A 类~ E 类。
4、A类地址
一个 A 类 IP 地址是指, 在 IP 地址的四段号码中,第一段号码为网络号码,剩下的三段号码为本地计算机的号码。如果用二进制表示 IP 地址的话,A 类 IP 地址就由 1 字节的网络地址和 3 字节主机地址组成,网络地址的最高位必须是“0”。A 类 IP 地址中网络的标识长度为 8 位,主机标识的长度为 24 位,A 类网络地址数量较少,有 126 个网络,每个网络可以容纳主机数达 1600 多万台。
A 类 IP 地址 地址范围 1.0.0.1 - 126.255.255.254(二进制表示为:00000001 00000000 00000000 00000001 - 01111111 11111111 11111111 11111110)。最后一个是广播地址。
A 类 IP 地址的子网掩码为 255.0.0.0,每个网络支持的最大主机数为 256 的 3 次方 - 2 = 16777214 台。
5、B类地址
一个 B 类 IP 地址是指,在 IP 地址的四段号码中,前两段号码为网络号码。如果用二进制表示 IP 地址的 话,B 类 IP 地址就由 2 字节的网络地址和 2 字节主机地址组成,网络地址的最高位必须是“10”。B 类 IP 地址中网络的标识长度为 16 位,主机标识的长度为 16 位,B 类网络地址适用于中等规模的网络,有 16384 个网络,每个网络所能容纳的计算机数为 6 万多台。
B 类 IP 地址地址范围 128.0.0.1 - 191.255.255.254 (二进制表示为:10000000 00000000 00000000 00000001 - 10111111 11111111 11111111 11111110)。 最后一个是广播地址。
B 类 IP 地址的子网掩码为 255.255.0.0,每个网络支持的最大主机数为 256 的 2 次方 - 2 = 65534 台。
6、C类地址
一个 C 类 IP 地址是指,在 IP 地址的四段号码中,前三段号码为网络号码,剩下的一段号码为本地计算机的号码。如果用二进制表示 IP 地址的话,C 类 IP 地址就由 3 字节的网络地址和 1 字节主机地址组 成,网络地址的最高位必须是“110”。C 类 IP 地址中网络的标识长度为 24 位,主机标识的长度为 8 位, C 类网络地址数量较多,有 209 万余个网络。适用于小规模的局域网络,每个网络最多只能包含254台 计算机。
C 类 IP 地址范围 192.0.0.1-223.255.255.254 (二进制表示为: 11000000 00000000 00000000 00000001 - 11011111 11111111 11111111 11111110)。
C类IP地址的子网掩码为 255.255.255.0,每个网络支持的最大主机数为 256 - 2 = 254 台。
7、D类地址
D 类 IP 地址在历史上被叫做多播地址(multicast address),即组播地址。在以太网中,多播地址命 名了一组应该在这个网络中应用接收到一个分组的站点。多播地址的最高位必须是 “1110”,范围从 224.0.0.0 - 239.255.255.255。
8、特殊地址
每一个字节都为 0 的地址( “0.0.0.0” )对应于当前主机;
IP 地址中的每一个字节都为 1 的 IP 地址( “255.255.255.255” )是当前子网的广播地址;
IP 地址中凡是以 “11110” 开头的 E 类 IP 地址都保留用于将来和实验使用。
IP地址中不能以十进制 “127” 作为开头,该类地址中数字 127.0.0.1 到 127.255.255.255 用于回路测 试,如:127.0.0.1可以代表本机IP地址。
9、子网掩码
子网掩码(subnet mask)又叫网络掩码、地址掩码、子网络遮罩,它是一种用来指明一个 IP 地 址的哪些位标识的是主机所在的子网,以及哪些位标识的是主机的位掩码。子网掩码不能单独存 在,它必须结合 IP 地址一起使用。子网掩码只有一个作用,就是将某个 IP 地址划分成网络地址和 主机地址两部分。可用来获取网络id和主机id。
子网掩码是一个 32 位地址,用于屏蔽 IP 地址的一部分以区别网络标识和主机标识,并说明该 IP 地址是在局域网上,还是在广域网上。
10、端口
“端口” 是英文 port 的意译,可以认为是设备与外界通讯交流的出口。端口可分为虚拟端口和物理 端口,其中虚拟端口指计算机内部或交换机路由器内的端口,不可见,是特指TCP/IP协议中的端 口,是逻辑意义上的端口。例如计算机中的 80 端口、21 端口、23 端口等。物理端口又称为接 口,是可见端口,计算机背板的 RJ45 网口,交换机路由器集线器等 RJ45 端口。电话使用 RJ11 插 口也属于物理端口的范畴。
如果把 IP 地址比作一间房子,端口就是出入这间房子的门。真正的房子只有几个门,但是一个 IP 地址的端口可以有 65536(即:2^16)个之多!端口是通过端口号来标记的,端口号只有整数, 范围是从 0 到65535(2^16-1)。
相当于一个缓冲区
11、端口的类型
1)周知端口
周知端口是众所周知的端口号,也叫知名端口、公认端口或者常用端口,范围从 0 到 1023,它们紧密 绑定于一些特定的服务。例如 80 端口分配给 WWW 服务,21 端口分配给 FTP 服务,23 端口分配给 Telnet服务等等。我们在 IE 的地址栏里输入一个网址的时候是不必指定端口号的,因为在默认情况下 WWW 服务的端口是 “80”。网络服务是可以使用其他端口号的,如果不是默认的端口号则应该在地址栏 上指定端口号,方法是在地址后面加上冒号“:”(半角),再加上端口号。比如使用 “8080” 作为 WWW 服务的端口,则需要在地址栏里输入“网址:8080”。但是有些系统协议使用固定的端口号,它是不能被改 变的,比如 139 端口专门用于 NetBIOS 与 TCP/IP 之间的通信,不能手动改变。
2)注册端口
端口号从 1024 到 49151,它们松散地绑定于一些服务,分配给用户进程或应用程序,这些进程主要是 用户选择安装的一些应用程序,而不是已经分配好了公认端口的常用程序。这些端口在没有被服务器资 源占用的时候,可以用用户端动态选用为源端口。
3)动态端口/私有端口
动态端口的范围是从 49152 到 65535。之所以称为动态端口,是因为它一般不固定分配某种服务,而是 动态分配。
三、网络模型
1、OSI七层网络模型
七层模型,亦称 OSI(Open System Interconnection)参考模型,即开放式系统互联。参考模型 是国际标准化组织(ISO)制定的一个用于计算机或通信系统间互联的标准体系,一般称为 OSI 参 考模型或七层模型。
1)物理层 :主要定义物理设备标准,如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。它的主要作用是传输比特流(就是由1、0转化为电流强弱来进行传输,到达目的地后再转化为 1、0,也就是我们常说的数模转换与模数转换)。这一层的数据叫做比特。
2)数据链路层:建立逻辑连接、进行硬件地址寻址、差错校验等功能。定义了如何让格式化数据以帧为单位进行传输,以及如何让控制对物理介质的访问。将比特组合成字节进而组合成帧,用MAC地址访问介质。
3)网络层:进行逻辑地址寻址,在位于不同地理位置的网络中的两个主机系统之间提供连接和路径选择。Internet的发展使得从世界各站点访问信息的用户数大大增加,而网络层正是管理这种连接的层。
4)传输层:定义了一些传输数据的协议和端口号( WWW 端口 80 等),如:TCP(传输控制协议, 传输效率低,可靠性强,用于传输可靠性要求高,数据量大的数据),UDP(用户数据报协议,与TCP 特性恰恰相反,用于传输可靠性要求不高,数据量小的数据,如 QQ 聊天数据就是通过这种方式传输的)。 主要是将从下层接收的数据进行分段和传输,到达目的地址后再进行重组。常常把这 一层数据叫做段。
5)会话层:通过传输层(端口号:传输端口与接收端口)建立数据传输的通路。主要在你的系统之间 发起会话或者接受会话请求。
6)表示层:数据的表示、安全、压缩。主要是进行对接收的数据进行解释、加密与解密、压缩与解压缩等(也就是把计算机能够识别的东西转换成人能够能识别的东西(如图片、声音等)。
7)应用层:网络服务与最终用户的一个接口。这一层为用户的应用程序(例如电子邮件、文件传输和 终端仿真)提供网络服务。
2、TCP/IP四层模型
现在 Internet(因特网)使用的主流协议族是 TCP/IP 协议族,它是一个分层、多协议的通信体 系。TCP/IP协议族是一个四层协议系统,自底而上分别是数据链路层、网络层、传输层和应用 层。每一层完成不同的功能,且通过若干协议来实现,上层协议使用下层协议提供的服务。
TCP/IP 协议在一定程度上参考了 OSI 的体系结构。OSI 模型共有七层,从下到上分别是物理层、数据链 路层、网络层、传输层、会话层、表示层和应用层。但是这显然是有些复杂的,所以在 TCP/IP 协议中, 它们被简化为了四个层次。
1)应用层、表示层、会话层三个层次提供的服务相差不是很大,所以在 TCP/IP 协议中,它们被合并 为应用层一个层次。
2)由于传输层和网络层在网络协议中的地位十分重要,所以在 TCP/IP 协议中它们被作为独立的两个 层次。
3)因为数据链路层和物理层的内容相差不多,所以在 TCP/IP 协议中它们被归并在网络接口层一个层次里。只有四层体系结构的 TCP/IP 协议,与有七层体系结构的 OSI 相比要简单了不少,也正是这样, TCP/IP 协议在实际的应用中效率更高,成本更低。
三、协议
协议,网络协议的简称,网络协议是通信计算机双方必须共同遵从的一组约定。如怎么样建立连 接、怎么样互相识别等。只有遵守这个约定,计算机之间才能相互通信交流。
它的三要素是:语 法、语义、时序。
为了使数据在网络上从源到达目的,网络通信的参与方必须遵循相同的规则,这套规则称为协议 (protocol),它最终体现为在网络上传输的数据包的格式。
协议往往分成几个层次进行定义,分层定义是为了使某一层协议的改变不影响其他层次的协议。
1、常见的协议
1)应用层常见的协议有:FTP协议(File Transfer Protocol 文件传输协议)、HTTP协议(Hyper Text Transfer Protocol 超文本传输协议)、NFS(Network File System 网络文件系统)。
2)传输层常见协议有:TCP协议(Transmission Control Protocol 传输控制协议)、UDP协议(User Datagram Protocol 用户数据报协议)。
3)网络层常见协议有:IP 协议(Internet Protocol 因特网互联协议)、ICMP 协议(Internet Control Message Protocol 因特网控制报文协议)、IGMP 协议(Internet Group Management Protocol 因特 网组管理协议)。
4)网络接口层常见协议有:ARP协议(Address Resolution Protocol 地址解析协议)、RARP协议 (Reverse Address Resolution Protocol 反向地址解析协议)。
2、UDP协议
1)源端口号:发送方端口号
2) 目的端口号:接收方端口号
3)长度:UDP用户数据报的长度,最小值是8(仅有首部)
4) 校验和:检测UDP用户数据报在传输中是否有错,有错就丢弃
3、TCP协议
1) 源端口号:发送方端口号
2)目的端口号:接收方端口号
3)序列号:本报文段的数据的第一个字节的序号
4)确认序号:期望收到对方下一个报文段的第一个数据字节的序号
5)首部长度(数据偏移):TCP 报文段的数据起始处距离 TCP 报文段的起始处有多远,即首部长 度。单位:32位,即以 4 字节为计算单位
6)保留:占 6 位,保留为今后使用,目前应置为 0
7)紧急 URG :此位置 1 ,表明紧急指针字段有效,它告诉系统此报文段中有紧急数据,应尽快传送
8)确认 ACK:仅当 ACK=1 时确认号字段才有效,TCP 规定,在连接建立后所有传达的报文段都必须 把 ACK 置1
9)推送 PSH:当两个应用进程进行交互式的通信时,有时在一端的应用进程希望在键入一个命令后立 即就能够收到对方的响应。在这种情况下,TCP 就可以使用推送(push)操作,这时,发送方 TCP 把 PSH 置 1,并立即创建一个报文段发送出去,接收方收到 PSH = 1 的报文段,就尽快地 (即“推送”向前)交付给接收应用进程,而不再等到整个缓存都填满后再向上交付
10) 复位 RST:用于复位相应的 TCP 连接
11)同步 SYN:仅在三次握手建立 TCP 连接时有效。当 SYN = 1 而 ACK = 0 时,表明这是一个连接请 求报文段,对方若同意建立连接,则应在相应的报文段中使用 SYN = 1 和 ACK = 1。因此,SYN 置 1 就表示这是一个连接请求或连接接受报文
12)终止 FIN:用来释放一个连接。当 FIN = 1 时,表明此报文段的发送方的数据已经发送完毕,并要 求释放运输连接
13)窗口:指发送本报文段的一方的接收窗口(而不是自己的发送窗口)
14)校验和:校验和字段检验的范围包括首部和数据两部分,在计算校验和时需要加上 12 字节的伪头 部
15)紧急指针:仅在 URG = 1 时才有意义,它指出本报文段中的紧急数据的字节数(紧急数据结束后就 是普通数据),即指出了紧急数据的末尾在报文中的位置,注意:即使窗口为零时也可发送紧急数据
16)选项:长度可变,最长可达 40 字节,当没有使用选项时,TCP 首部长度是 20 字节
4、IP协议
5、ARP协议
1)硬件类型:1 表示 MAC 地址
2)协议类型:0x800 表示 IP 地址
3)硬件地址长度:6
4)协议地址长度:4
5)操作:1 表示 ARP 请求,2 表示 ARP 应答,3 表示 RARP 请求,4 表示 RARP 应答
ARP报文的长度是18个字节
过程模拟:
四、网络通信的过程
1、封装
上层协议是如何使用下层协议提供的服务的呢?其实这是通过封装(encapsulation)实现的。应用程序数据在发送到物理网络上之前,将沿着协议栈从上往下依次传递。每层协议都将在上层数据的基础上加上自己的头部信息(有时还包括尾部信息),以实现该层的功能,这个过程就称为封装。
2、分用
当帧到达目的主机时,将沿着协议栈自底向上依次传递。各层协议依次处理帧中本层负责的头部数据, 以获取所需的信息,并最终将处理后的帧交给目标应用程序。这个过程称为分用(demultiplexing)。 分用是依靠头部信息中的类型字段实现的。
整体过程
五、Socket
1、Socket介绍
所谓 socket(套接字),就是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。 一个套接字就是网络上进程通信的一端,提供了应用层进程利用网络协议交换数据的机制。从所处 的地位来讲,套接字上联应用进程,下联网络协议栈,是应用程序通过网络协议进行通信的接口, 是应用程序与网络协议根进行交互的接口。
socket 可以看成是两个网络应用程序进行通信时,各自通信连接中的端点,这是一个逻辑上的概 念。它是网络环境中进程间通信的 API,也是可以被命名和寻址的通信端点,使用中的每一个套接 字都有其类型和一个与之相连进程。通信时其中一个网络应用程序将要传输的一段信息写入它所在 主机的 socket 中,该 socket 通过与网络接口卡(NIC)相连的传输介质将这段信息送到另外一台 主机的 socket 中,使对方能够接收到这段信息。socket 是由 IP 地址和端口结合的,提供向应用 层进程传送数据包的机制。
socket 本身有“插座”的意思,在 Linux 环境下,用于表示进程间网络通信的特殊文件类型。本质为 内核借助缓冲区形成的伪文件。既然是文件,那么理所当然的,我们可以使用文件描述符引用套接 字。与管道类似的,Linux 系统将其封装成文件的目的是为了统一接口,使得读写套接字和读写文 件的操作一致。区别是管道主要应用于本地进程间通信,而套接字多应用于网络进程间数据的传 递。
套接字通信:
服务端:被动接收连接,一般不主动发起连接
客户端:主动向服务器发起连接
2、字节序
现代 CPU 的累加器一次都能装载(至少)4 字节(这里考虑 32 位机),即一个整数。那么这 4 字节在内存中排列的顺序将影响它被累加器装载成的整数的值,这就是字节序问题。在各种计算机 体系结构中,对于字节、字等的存储机制有所不同,因而引发了计算机通信领域中一个很重要的问 题,即通信双方交流的信息单元(比特、字节、字、双字等等)应该以什么样的顺序进行传送。如果不达成一致的规则,通信双方将无法进行正确的编码/译码从而导致通信失败。
字节序,顾名思义字节的顺序,就是大于一个字节类型的数据在内存中的存放顺序(一个字节的数 据当然就无需谈顺序的问题了)。
字节序分为大端字节序(Big-Endian) 和小端字节序(Little-Endian)。大端字节序是指一个整 数的最高位字节(23 ~ 31 bit)存储在内存的低地址处,低位字节(0 ~ 7 bit)存储在内存的高地 址处;小端字节序则是指整数的高位字节存储在内存的高地址处,而低位字节则存储在内存的低地 址处。
例如两个16进制的数0x 11 22 33 44 和0x 12 34 56 78
小端字节序,高位存在高地址处
大端字节序,高位存在低地址处
3、字节序转换函数
当格式化的数据在两台使用不同字节序的主机之间直接传递时,接收端必然错误的解释之。解决问题的 方法是:发送端总是把要发送的数据转换成大端字节序数据后再发送,而接收端知道对方传送过来的数 据总是采用大端字节序,所以接收端可以根据自身采用的字节序决定是否对接收到的数据进行转换(小 端机转换,大端机不转换)
网络字节顺序是 TCP/IP 中规定好的一种数据表示格式,它与具体的 CPU 类型、操作系统等无关,从而 可以保证数据在不同主机之间传输时能够被正确解释,网络字节顺序采用大端排序方式。
BSD Socket提供了封装好的转换接口,方便程序员使用。包括从主机字节序到网络字节序的转换函数: htons、htonl;从网络字节序到主机字节序的转换函数:ntohs、ntohl。
网络通信时需要将主机字节序转换为网络字节序,另外一端根据情况将网络字节序转换为主机字节序。
#include <arpa/inet.h>
// 转换端口
uint16_t htons(uint16_t hostshort); // 主机字节序 - 网络字节序
uint16_t ntohs(uint16_t netshort); // 网络字节序 - 主机字节序
// 转IP
uint32_t htonl(uint32_t hostlong); // 主机字节序 - 网络字节序
uint32_t ntohl(uint32_t netlong); // 网络字节序 - 主机字节序
4、Socket地址
socket地址其实是一个结构体,封装端口号,IP等信息。后面的socket相关的api需要使用到socket地址
socket 网络编程接口中表示 socket 地址的是结构体 sockaddr,其定义如下:
#include <bits/socket.h>
struct sockaddr {
sa_family_t sa_family;
char sa_data[14];
};
typedef unsigned short int sa_family_t;
sa_family 成员是地址族类型(sa_family_t)的变量。地址族类型通常与协议族类型对应。常见的协议族(protocol family,也称 domain)和对应的地址族入下所示, 宏 PF_* 和 AF_* 都定义在 bits/socket.h 头文件中,且后者与前者有完全相同的值,所以二者通常混用。
sa_data 成员用于存放 socket 地址值。但是,不同的协议族的地址值具有不同的含义和长度,如下所示:
由上表可知,14 字节的 sa_data 根本无法容纳多数协议族的地址值。因此,Linux 定义了下面这个新的 通用的 socket 地址结构体,这个结构体不仅提供了足够大的空间用于存放地址值,而且是内存对齐的 。
#include <bits/socket.h>
struct sockaddr_storage
{
sa_family_t sa_family;
unsigned long int __ss_align;
char __ss_padding[ 128 - sizeof(__ss_align) ];
};
typedef unsigned short int sa_family_t;
5、专用Socket地址
很多网络编程函数诞生早于 IPv4 协议,那时候都使用的是 struct sockaddr 结构体,为了向前兼容,现 在sockaddr 退化成了(void *)的作用,传递一个地址给函数,至于这个函数是 sockaddr_in 还是 sockaddr_in6,由地址族确定,然后函数内部再强制类型转化为所需的地址类型。
TCP/IP协议族的sockaddr_in专用socket地址
#include <netinet/in.h>
struct sockaddr_in
{
sa_family_t sin_family; /* __SOCKADDR_COMMON(sin_) */
in_port_t sin_port; /* Port number. */
struct in_addr sin_addr; /* Internet address. */
/* Pad to size of `struct sockaddr'. */
unsigned char sin_zero[sizeof (struct sockaddr) - __SOCKADDR_COMMON_SIZE -
sizeof (in_port_t) - sizeof (struct in_addr)];
};
struct in_addr
{
in_addr_t s_addr;
};
typedef unsigned short uint16_t;
typedef unsigned int uint32_t;
typedef uint16_t in_port_t;
typedef uint32_t in_addr_t;
6、IP地址转换(字符串IP-整数,主机和网络字节序的转换)
通常,人们习惯用可读性好的字符串来表示 IP 地址,比如用点分十进制字符串表示 IPv4 地址,以及用十六进制字符串表示 IPv6 地址。但编程中我们需要先把它们转化为整数(二进制数)方能使用。而记录日志时则相反,我们要把整数表示的 IP 地址转化为可读的字符串。下面 3 个函数可用于用点分十进制字符串表示的 IPv4 地址和用网络字节序整数表示的 IPv4 地址之间的转换:
#include <arpa/inet.h>
in_addr_t inet_addr(const char *cp);//转换为网络字节序
int inet_aton(const char *cp, struct in_addr *inp);
char *inet_ntoa(struct in_addr in);
下面这对更新的函数也能完成前面 3 个函数同样的功能,并且它们同时适用 IPv4 地址和 IPv6 地址:
#include <arpa/inet.h>
// p:点分十进制的IP字符串,n:表示network,网络字节序的整数
int inet_pton(int af, const char *src, void *dst);
/*
af:地址族: AF_INET AF_INET6
src:需要转换的点分十进制的IP字符串
dst:转换后的结果保存在这个里面
*/
// 将网络字节序的整数,转换成点分十进制的IP地址字符串
const char *inet_ntop(int af, const void *src, char *dst, socklen_t size);
/*
af:地址族: AF_INET AF_INET6
src: 要转换的ip的整数的地址
dst: 转换成IP地址字符串保存的地方
size:第三个参数的大小(数组的大小)
返回值:返回转换后的数据的地址(字符串),和 dst 是一样的
*/
六、TCP
1、TCP与UDP的区别
它们都是传输层的协议
UDP:用户数据报协议,面向无连接,可以单播,多播,广播,面向数据报不可靠。
TCP:传输控制协议,面向连接的,可靠的,基于字节流,仅支持单播传输
UDP | TCP | |
是否创建连接 | 无连接 | 面向连接 |
是否可靠 | 不可靠 | 可靠 |
连接的对象个数 | 一对一,一对多,多对一,多对多 | 支持一对一 |
传输的方式 | 面向数据报 | 面向字节流 |
首部开销 | 8个字节 | 最少20个字节 |
适用场景 | 实时应用 | 可靠性高的应用 |
2、TCP通信的过程
服务端:(被动接受连接)
1)创建一个用于监听的套接字
监听:监听有无客户端的连接
套接字:是一个文件描述符
2)将监听的文件描述符与本地的ip和端口进行绑定
-客户端连接服务器的时候适用的就是这个ip和端口
3)设置监听,监听的fd开始工作
4)阻塞等待,当有客户端发起连接的时候,解除阻塞,接收客户端的连接,会得到一个和客户端通信的套接字(fd)。
5)通信
-接收数据
-发送数据
6)通信结束,断开连接
客户端:(主动发起连接)
1)创建一个用于通信的套接字(fd)
2)连接服务器,需要指定连接的服务器的ip和端口
3)连接成功,客户端可以直接和服务端通信
-接受数据
-发送数据
4)通信结束,断开连接
3、Socket函数
#include <arpa/inet.h>
int socket(int domain, int type, int protocol);
功能:创建一个套接字
参数:
-domain:协议族
AF_INET:ipv4
AF_INET6:ipv6
AF_UNIX,AF_LOCAL:本地套接字(进程间通信)
-type:通信过程中适用的协议类型
SOCK_STREAM:流式协议
SOCK_DGRAM:报式协议
-protocol:具体的一个协议,一般为0
SOCK_STREAM:流是协议,默认使用TCP
SOCK_DGRAM:报式协议,默认使用UDP
-返回值:成功返回文件描述符,操作的就是内核缓冲区;失败返回-1
#include <arpa/inet.h>
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
功能:绑定,将fd和本地的ip、端口进行绑定
参数:
-sockfd:通过socket函数得到的文件描述符
-addr:需要绑定的socket地址,这个地址封装了ip和端口号信息
-addrlen:指定的第二个参数结构体占的内存大小
#include <arpa/inet.h>
int listen(int sockfd, int backlog);// /proc/sys/net/core/somaxconn
功能:监听这个socket上的连接
参数:
-sockfd:通过socket得到的文件描述符
-backlog:未连接和已连接的和的最大值
#include <arpa/inet.h>
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
功能:接收客户端连接,默认是一个阻塞的函数,阻塞等待客户端连接
参数:
-sockfd:用于监听得文件描述符
-addr:传出参数,记录了连接成功后客户端的地址信息(ip,port)
-addrlen:指定第二个参数的对应的内存大小
返回值:成功,返回用于通信的文件描述符,失败返回-1
#include <arpa/inet.h>
int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
功能:客户端连接服务器
参数:
-sockfd:用于通信的文件描述符
-addr:客户端要连接的服务器的地址信息
-addrlen:第二个参数的内存大小
返回值:成功返回0,失败返回-1
#include <arpa/inet.h>
ssize_t write(int fd, const void *buf, size_t count); // 写数据
ssize_t read(int fd, void *buf, size_t count); //读数据
4、TCP服务端程序
5、TCP客户端程序
6、TCP的三次握手
TCP 是一种面向连接的单播协议,在发送数据前,通信双方必须在彼此间建立一条连接。所谓的“连 接”,其实是客户端和服务器的内存里保存的一份关于对方的信息,如 IP 地址、端口号等。
TCP 可以看成是一种字节流,它会处理 IP 层或以下的层的丢包、重复以及错误问题。在连接的建立过程 中,双方需要交换一些连接的参数。这些参数可以放在 TCP 头部。
TCP 提供了一种可靠、面向连接、字节流、传输层的服务,采用三次握手建立一个连接。采用 四次挥手 来关闭一个连接。
第一次握手:
1.客户端将SNY标志位置为1
2.生成一个随机的32位的序号seq = J,这个序号后边是可以携带数据的大小
第二握手:
1.服务端接收客户端的连接:ACK = 1
2.服务器会回发确认序号:ack = 客户端发送的序号 + 数据长度 + SYN/FIN(1个字节大小)
3.服务器端向客户端发起连接请求:SYN = 1
4.服务器生成随机序号:seq = K
第三次握手:
1.客户端应答连接请求: ACK = 1
2.客户端回复收到了请求:ack = 服务端的序号 + 数据的长度 + SYN/FIN(1个字节大小)
7、滑动窗口
滑动窗口(Sliding window)是一种流量控制技术。早期的网络通信中,通信双方不会考虑网络的 拥挤情况直接发送数据。由于大家不知道网络拥塞状况,同时发送数据,导致中间节点阻塞掉包, 谁也发不了数据,所以就有了滑动窗口机制来解决此问题。滑动窗口协议是用来改善吞吐量的一种 技术,即容许发送方在接收任何应答之前传送附加的包。接收方告诉发送方在某一时刻能送多少包 (称窗口尺寸)。
TCP 中采用滑动窗口来进行传输控制,滑动窗口的大小意味着接收方还有多大的缓冲区可以用于 接收数据。发送方可以通过滑动窗口的大小来确定应该发送多少字节的数据。当滑动窗口为 0 时,发送方一般不能再发送数据报。
滑动窗口是 TCP 中实现诸如 ACK 确认、流量控制、拥塞控制的承载结构
滑动窗口过程模拟
1.客户端向服务器发起连接,客户端的滑动窗口大小是4096,一次发送的最大数据量是1460
2.服务器接收连接请求,告诉客户端,服务器的窗口大小是6144,一次发送的最大数据量是1024
3.第三次握手
4.4-9客户端连续给服务器发送了6k的数据,每次发送1k
5.第10次,服务器告诉客户端,发送的6k数据已经接收到了,存储在缓冲区中,缓冲区数据已经处理了2k,窗口大小是2k
6.第11次,服务器告诉客户端,发送的6k数据已经接收到了,存储在缓冲区中,缓冲区数据已经处理了4k,窗口大小是4k
7.第12次,客户端给服务器发送了1k的数据
8.第13次,客户端主动请求和服务器断开连接,并且给服务器发送1k的数据
9.第14次,服务器回复ACK = 8194,同意断开连接的请求同时告诉客户端已经接收到之前发送的数据,
10.第15,16次通知客户端滑动窗口的大小
11.第17次,第三次挥手,服务器端给客户端发送FIN,请求断开连接
12.第18次,第四次挥手,客户端同意断开连接
8、TCP的四次挥手
四次挥手发生在断开连接的时候,在程序中调用了close()函数会使用TCP协议进行四次挥手 。
客户端和服务端都可以主动发起断开连接,谁先调用close,谁就是发起。
因为在TCP连接的时候,采用三次握手建立的连接时双向的,所以断开的时候也需要双向断开
9、多进程实现并发服务器
要实现TCP通信服务器处理并发的任务,需要使用多线程或者多进程来解决
思路:
1.一个父进程多个子进程
2.父进程负责等待并接收客户端的连接
3.子进程完成通信的过程,接受一个客户端连接,就创建一个子进程用于客户端用于通信
10、多线程实现并发服务器
11、TCP状态转换
2MSL(2被报文段寿命):主动断开连接的乙方,最后进入一个TIME_WAIT状态,这个状态会持续:2msl时间 。
msl:官方的建议时长时2分钟,实际lInux系统中是30s
当 TCP 连接主动关闭方接收到被动关闭方发送的 FIN 和最终的 ACK 后,连接的主动关闭方 必须处于TIME_WAIT 状态并持续 2MSL 时间。 这样就能够让 TCP 连接的主动关闭方在它发送的 ACK 丢失的情况下重新发送最终的 ACK。 主动关闭方重新发送的最终 ACK 并不是因为被动关闭方重传了 ACK(它们并不消耗序列号, 被动关闭方也不会重传),而是因为被动关闭方重传了它的 FIN。事实上,被动关闭方总是 重传 FIN 直到它收到一个最终的 ACK。
半关闭
当 TCP 链接中 A 向 B 发送 FIN 请求关闭,另一端 B 回应 ACK 之后(A 端进入 FIN_WAIT_2 状态),并没有立即发送 FIN 给 A,A 方处于半连接状态(半开关),此时 A 可以接收 B 发 送的数据,但是 A 已经不能再向 B 发送数据。
12、端口复用
查看网络相关信息的命令:netstat
参数:
-a:所以的socket
-p:显示正在使用socket的程序的名称
-n:直接使用ip地址而不通过域名服务器
端口复用最常用的用途是:
1)防止服务器重启时之前绑定的端口还未释放
2)程序突然退出系统没有释放端口
#include <sys/types.h>
#include <sys/socket.h>
//设置端口复用、设置套接字的属性
int setsockopt(int sockfd, int level, int optname, const void* optval, socklen_t optlen);
功能:设置端口复用、设置套接字的属性
参数:
-sockfd:要操作的文件描述符
-level:级别,使用SOL_SOCKET(端口复用的级别)
-optname:选型的名称
-SO_REUSEADDR
-SO_REUSEPORT
-optval:端口复用的值(整形)
-1:可以复用
-0:不可以复用
-optlen:optval参数的大小
端口复用设置的时机是在服务器绑定端口之前
七、I/O多路复用
1、I/O多路复用
I/O 多路复用使得程序能同时监听多个文件描述符,能够提高程序的性能,Linux 下实现 I/O 多路复用的系统调用主要有 select、poll 和 epoll。
2、slect
1)要构造一个关于文件描述符的列表,将要监听的文件描述符添加到列表中。
2)调用一个系统函数,监听该列表中的文件描述符,直到这些描述符中的一个或者多个进行了I/O操作才返回。
这个函数是阻塞的,这个函数对文件描述符检测的操作是由内核完成的。
3)在返回时,它会告诉进程有那些文件描述符要进行I/O操作
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
//sizeof(fd_set) = 128
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
参数:
-nfds:委托内核检测的最大文件描述符的值 + 1
-readfds:要检测的文件描述符的读的集合,委托内核检测哪些文件描述符的读的属性。一般检测读操作;对应的是对方发送过来的数据,因为读是被动的接收数据,就是检测缓冲区有无数据;是一个传入传出参数
-writefds:要检测的文件描述符的写的集合,委托内核检测哪些文件描述符的写的属性。委托内核检测写缓冲区是否还可以写数据(缓冲区不满则可以写)。
-exceptfds:检测异常发生的文件描述符
-timeout:设置的超时时间,
-NULL:永久阻塞,直到检测到了文件描述符变化
-tv_sec = 0, tv_usec = 0,不阻塞
-tv_sec > 0, tv usec > 0.阻塞对应的事件
返回值:返回-1表示调用失败,大于0表示检测的集合中有n个文件描述符发生变化
select的缺点:
1)每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大
2)每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大
3)select支持的文件描述符的数量太小了,默认是1024
4)fds集合不能重用,每次都需要重置
3、poll
#include <poll.h>
struct pollfd {
int fd; //委托内核检测的文件描述符
short events; //委托内核检测文件描述符的什么事件
short revents; //文件描述符实际发生的事件
};
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
参数:
-fds:是一个结构体数组,这是一个需要检测的文件描述符的集合
-nfds:这个是第一个参数数组中最后一个有效元素的下标+1
-timeout:阻塞时长,单位是毫秒。当timeout 为-1时,poll调用将永远阻塞,直到某个事件发生;当 timcout 为0时,poll 调用将立即返回,大于0时就是阻塞的时长。
返回值:返回-1表示调用失败,大于0表示检测的集合中有n个文件描述符发生变化
4、epoll
八、UDP通信
1、UDP通信
#include <sys/types.h>
#include <sys/socket.h>
ssize_t sendto(int sockfd, const void *buf, size_t len, int flags,const struct sockaddr *dest_addr, socklen_t addrlen);
参数:
-sockfd:通信的文件描述符
-buf:要发送的数据
-len:要发送数据的大小
-flags:0
-dest_addr:通信的另外一端的地址信息
-addrlen:地址的内存大小
#include <sys/types.h>
#include <sys/socket.h>
ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags,struct sockaddr *src_addr, socklen_t *addrlen);
参数:
-sockfd:通信的fd
-buf:接收数据的数组
-len:接收数据的大小
-flags:0
-src_addr:用来保存另外一端的地址信息,不需要则指定为NULL
-addrlen:地址内存的大小
2、广播
向子网中多台计算机发送消息,并且子网中所有的计算机都可以接收到发送方发送的消息,每个广 播消息都包含一个特殊的IP地址,这个IP中子网内主机标志部分的二进制全部为1。
1)广播只能在局域网中使用
2)客户端需要绑定服务器广播使用的端口
3、组播(多播)
单播地址标识单个 IP 接口,广播地址标识某个子网的所有 IP 接口,多播地址标识一组 IP 接口。 单播和广播是寻址方案的两个极端(要么单个要么全部),多播则意在两者之间提供一种折中方 案。多播数据报只应该由对它感兴趣的接口接收,也就是说由运行相应多播会话应用系统的主机上 的接口接收。另外,广播一般局限于局域网内使用,而多播则既可以用于局域网,也可以跨广域网 使用。
1)组播既可以用于局域网,也可以用于广域网
2)客户端需要加入多播组,才能接收到多播数据