listen和accept函数
listen函数是用来设置监听连接的句柄和队列
当listen函数执行完成以后,服务端就已经可以接受客户端来的新连接了,新连接完成以后listen会把客户端的ip,port和连接句柄放在监听队列里面,等待accept函数来取,如果监听队列满了,listen会拒绝新来的连接。
accept仅仅是从监听队列里面取出连接而已,甚至不会关注连接的状态(比如连接断开在取出来的时候已经断开了都不知道)
也就是说,在服务端这边,listen才是整个连接的关键函数,accept不是
close和shutdown函数的区别
close函数首先是将传入的socket句柄引用数减1(因为fork进程时会导致socket句柄被多个进程引用),待到引用数等于0的时候,close才会真正关闭连接。
shutdown函数是立刻关闭连接(忽视句柄引用数值),关闭有三种方式
SHUT_RD 关闭调用进程的读通道,调用进程立刻不能读网络数据,读缓冲里的数据会被清空
SHUT_WR 关闭调用进程的写通道,调用进程立刻不能写网络数据,写缓冲里的数据立刻会被发送出去
SHUT_RDWR 关闭整个连接 close和shutdown函数
ip协议的数据分片备忘
总结: 不仅tcp协议能对数据段进行分割,ip协议也具备这个功能,之所以会这样是两者都受到底层MTU的限制(虽说tcp是根据MSS限制来分割数据包,由于MTU=tcp包头+ip包头+MSS,所以其实也算是受MTU的制约。)。但是尽量别让ip协议来负责数据包的分包工作,因为虽然ip协议会对数据包进行分割,编号和分包的组装,但是ip协议不负责重传,所以传输层不提供重传机制就可能会丢失数据,而就算上层能保证重传,但是如果分包是ip协议负责,上层协议无法知道哪个分包丢失(协议之间是透明的),所以只能是将整个数据包进行重传,这样极度浪费资源,因此应该避免让ip分包。
1,MTU(Maximum Transmission Unit,MTU),最大传输单元
(1)以太网和802.3对数据帧的长度都有一个限制,其最大值分别是1500和1492个字节。链路层的这个特性称作MTU。不同类型的网络大多数都有一个上限。如果IP层有一个数据要传,且数据的长度比链路层的MTU还大,那么IP层就要进行分片(fragmentation),把数据报分成若干片,这样每一个分片都小于MTU。
(2)把一份IP数据报进行分片以后,由到达目的端的IP层来进行重新组装,其目的是使分片和重新组装过程对运输层(TCP/UDP)是透明的。由于每一分片都是一个独立的包,当这些数据报的片到达目的端时有可能会失序,但是在IP首部中有足够的信息让接收端能正确组装这些数据报片。
(3)尽管IP分片过程看起来透明的,但有一点让人不想使用它:即使只丢失一片数据也要重新传整个数据报。why?因为IP层本身没有超时重传机制------由更高层(比如TCP)来负责超时和重传。当来自TCP报文段的某一片丢失后,TCP在超时后会重发整个TCP报文段,该报文段对应于一份IP数据报(而不是一个分片),没有办法只重传数据报中的一个数据分片。
(4)使用UDP很容易导致IP分片,TCP试图避免IP分片。那么TCP是如何试图避免IP分片的呢?其实说白了,采用TCP协议进行数据传输是不会造成IP分片的,因为一旦TCP数据过大,超过了MSS,则在传输层会对TCP包进行分段(如何分,见下文!),自然到了IP层的数据报肯定不会超过MTU,当然也就不用分片了。而对于UDP数据报,如果UDP组成的IP数据报长度超过了1500,那么IP数据报显然就要进行分片,因为UDP不能像TCP一样自己进行分段。总结:UDP不会分段,就由我IP来分。TCP会分段,当然也就不用我IP来分了!
2,MSS(Maxitum Segment Size)最大分段大小的缩写,是TCP协议里面的一个概念 (1)MSS就是TCP数据包每次能够传输的最大数据分段。为了达到最佳的传输效能TCP协议在建立连接的时候通常要协商双方的MSS值,这个值TCP协议在实现的时候往往用MTU值代替(需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes)所以往往MSS为1460。通讯双方会根据双方提供的MSS值得最小值确定为这次连接的最大MSS值。
select,epoll的比较
机制:
select:只支持水平触发(数据不处理完无限通知)
epoll:支持水平触发和边缘触发(仅通知一次)
单进程监控FD个数
select: 由FD_SETSIZE设置,默认值是2048。在大量连接的情况下明显不足。
epoll: 和内存有关,1G内存10W个,一般都够用。
内核监控事件的策略
select: 顺序遍历监控句柄数组,在监控大量连接句柄且数据通信非活跃状态下效率低下。
epoll: 活跃的句柄通过callback函数进行事件自主通知,资源消耗过小;
程序中获取事件句柄的方式
select: 返回整个监控句柄数组,只能顺序遍历查找里面有事件触发的句柄
epoll: 返回的数组就是所有已经触发事件的句柄。
数据传递
select: 内核态和用户态之间的数据传递需要进行copy
epoll: mmap映射数据空间,免去copy操作
listen函数是用来设置监听连接的句柄和队列
当listen函数执行完成以后,服务端就已经可以接受客户端来的新连接了,新连接完成以后listen会把客户端的ip,port和连接句柄放在监听队列里面,等待accept函数来取,如果监听队列满了,listen会拒绝新来的连接。
accept仅仅是从监听队列里面取出连接而已,甚至不会关注连接的状态(比如连接断开在取出来的时候已经断开了都不知道)
也就是说,在服务端这边,listen才是整个连接的关键函数,accept不是
close和shutdown函数的区别
close函数首先是将传入的socket句柄引用数减1(因为fork进程时会导致socket句柄被多个进程引用),待到引用数等于0的时候,close才会真正关闭连接。
shutdown函数是立刻关闭连接(忽视句柄引用数值),关闭有三种方式
SHUT_RD 关闭调用进程的读通道,调用进程立刻不能读网络数据,读缓冲里的数据会被清空
SHUT_WR 关闭调用进程的写通道,调用进程立刻不能写网络数据,写缓冲里的数据立刻会被发送出去
SHUT_RDWR 关闭整个连接 close和shutdown函数
ip协议的数据分片备忘
总结: 不仅tcp协议能对数据段进行分割,ip协议也具备这个功能,之所以会这样是两者都受到底层MTU的限制(虽说tcp是根据MSS限制来分割数据包,由于MTU=tcp包头+ip包头+MSS,所以其实也算是受MTU的制约。)。但是尽量别让ip协议来负责数据包的分包工作,因为虽然ip协议会对数据包进行分割,编号和分包的组装,但是ip协议不负责重传,所以传输层不提供重传机制就可能会丢失数据,而就算上层能保证重传,但是如果分包是ip协议负责,上层协议无法知道哪个分包丢失(协议之间是透明的),所以只能是将整个数据包进行重传,这样极度浪费资源,因此应该避免让ip分包。
1,MTU(Maximum Transmission Unit,MTU),最大传输单元
(1)以太网和802.3对数据帧的长度都有一个限制,其最大值分别是1500和1492个字节。链路层的这个特性称作MTU。不同类型的网络大多数都有一个上限。如果IP层有一个数据要传,且数据的长度比链路层的MTU还大,那么IP层就要进行分片(fragmentation),把数据报分成若干片,这样每一个分片都小于MTU。
(2)把一份IP数据报进行分片以后,由到达目的端的IP层来进行重新组装,其目的是使分片和重新组装过程对运输层(TCP/UDP)是透明的。由于每一分片都是一个独立的包,当这些数据报的片到达目的端时有可能会失序,但是在IP首部中有足够的信息让接收端能正确组装这些数据报片。
(3)尽管IP分片过程看起来透明的,但有一点让人不想使用它:即使只丢失一片数据也要重新传整个数据报。why?因为IP层本身没有超时重传机制------由更高层(比如TCP)来负责超时和重传。当来自TCP报文段的某一片丢失后,TCP在超时后会重发整个TCP报文段,该报文段对应于一份IP数据报(而不是一个分片),没有办法只重传数据报中的一个数据分片。
(4)使用UDP很容易导致IP分片,TCP试图避免IP分片。那么TCP是如何试图避免IP分片的呢?其实说白了,采用TCP协议进行数据传输是不会造成IP分片的,因为一旦TCP数据过大,超过了MSS,则在传输层会对TCP包进行分段(如何分,见下文!),自然到了IP层的数据报肯定不会超过MTU,当然也就不用分片了。而对于UDP数据报,如果UDP组成的IP数据报长度超过了1500,那么IP数据报显然就要进行分片,因为UDP不能像TCP一样自己进行分段。总结:UDP不会分段,就由我IP来分。TCP会分段,当然也就不用我IP来分了!
2,MSS(Maxitum Segment Size)最大分段大小的缩写,是TCP协议里面的一个概念 (1)MSS就是TCP数据包每次能够传输的最大数据分段。为了达到最佳的传输效能TCP协议在建立连接的时候通常要协商双方的MSS值,这个值TCP协议在实现的时候往往用MTU值代替(需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes)所以往往MSS为1460。通讯双方会根据双方提供的MSS值得最小值确定为这次连接的最大MSS值。
select,epoll的比较
机制:
select:只支持水平触发(数据不处理完无限通知)
epoll:支持水平触发和边缘触发(仅通知一次)
单进程监控FD个数
select: 由FD_SETSIZE设置,默认值是2048。在大量连接的情况下明显不足。
epoll: 和内存有关,1G内存10W个,一般都够用。
内核监控事件的策略
select: 顺序遍历监控句柄数组,在监控大量连接句柄且数据通信非活跃状态下效率低下。
epoll: 活跃的句柄通过callback函数进行事件自主通知,资源消耗过小;
程序中获取事件句柄的方式
select: 返回整个监控句柄数组,只能顺序遍历查找里面有事件触发的句柄
epoll: 返回的数组就是所有已经触发事件的句柄。
数据传递
select: 内核态和用户态之间的数据传递需要进行copy
epoll: mmap映射数据空间,免去copy操作