网络编程-汇总

最新推荐文章于 2023-09-18 21:19:13 发布
置顶 最新推荐文章于 2023-09-18 21:19:13 发布
阅读量343 收藏 1
点赞数
分类专栏： 网络编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bintoYu/article/details/100762872
版权

总结

重点：

  1. I/O模型
  2. 线程模型
  3. select、poll、epoll
  4. socket原理
  5. 实践总结

计算机网络理论

网络编程懒人入门系列（转载自ruanyifeng.com）

网络编程懒人入门(一)：快速理解网络通信协议（上篇）
个人总结：
实体层：传输0和1。
链路层：对01数据进行分组，称为“帧(Frame)”，地址为指定mac地址。范围在内网。
网络层：指定我方和对方的ip，范围在内网及内网之间。
传输层：TCP、UDP，指定端口。
应用层：规定数据格式

网络编程懒人入门(二)：快速理解网络通信协议（下篇）

网络编程懒人入门(三)：快速理解TCP协议一篇就够

网络编程懒人入门(六)：史上最通俗的集线器、交换机、路由器功能原理入门

网络编程懒人入门(七)：深入浅出，全面理解HTTP协议
附上面连接的一张图：
在这里插入图片描述

cookie&session

理解Cookie和Session机制

深入系列

  1. 四次挥手在一些情况下实际上是可以合并成3次的。
    不为人知的网络编程(一)：浅析TCP协议中的疑难杂症(上篇)
  2. 通过抓包深入学习传输层的数据
    不为人知的网络编程(八)：从数据传输层深度解密HTTP
    总结：抓包可以看到请求包含ip标头+TCP标头+HTTP请求

网络编程

理论

socket

socket原理： https://blog.csdn.net/pashanhu6402/article/details/96428887
注意：socket()会创建一个文件描述符，后续的操作都是对这个文件描述符fd进行操作，并且每次调用socket都会涉及用户态到内核态的切换。

socket演示与实战：https://blog.csdn.net/bintoYu/article/details/106641859 （写的很烂）

IO 模型、线程模型

为什么要讲IO？

redis用到了epoll、nginx用到epoll，netty用到epoll和nio。
在这里插入图片描述

预备知识：用户态、内核态

详见操作系统笔记。
本文中的用途：如果一个应用想调用IO，则必须用到内核！

IO模型

先读《高性能网络编程(五)：一文读懂高性能网络编程中的I/O模型

个人注意：以socket通信为例，文中的应用程序指的就是我们new出来的线程，阻塞的是我们的线程。

线程模型

然后再读《高性能网络编程(六)：一文读懂高性能网络编程中的线程模型》

java New IO

其中BIO、NIO部分可阅读《https://blog.csdn.net/bintoYu/article/details/90480649》进行补充

SELECT、POLL、EPOLL

场景：有100万用户同时与一个进程保持着TCP连接，而每一时刻只有几十个或几百个TCP连接是活跃的(接收TCP包)

IO多路复用的三种机制Select，Poll，Epoll(需要提前看I/O模型才能更好理解本篇内容)
epoll详解：epoll原理详解及epoll反应堆模型
epoll个人快速总结：

  1. 分为三步epoll_create、epoll_ctl、epoll_wait
  2. 内核中的结构为红黑树+链表，红黑树保存所有添加到epoll的事件，链表readylist保存着将要通过epoll_wait返回给用户的事件。
  3. 因此可以看到，最关键的就是如何知道红黑树里哪些事件好了，并将其发送到链表中？ 所有添加到epoll中的事件都会与设备(如网卡)驱动程序建立回调关系，也就是说相应事件的发生时会调用回调方法，将事件送到链表中。
    在这里插入图片描述

linux零拷贝（零拷贝）技术

什么是零拷贝？mmap与sendFile的区别是什么？
个人理解：
传统io：

  1. 如果没有缓存，则先从磁盘中读出来放到操作系统内核缓冲区中：（DMA传输）
  2. 从内核缓冲区拷贝到应用程序缓冲区（需要用到cpu进行拷贝），然后对数据进行处理。
  3. 从应用拷贝到与网络相关的内核缓冲区（socket缓冲区）中，（ 需要用到cpu进行拷贝）
  4. 将数据发送到网卡上（DMA传输）
    在这里插入图片描述
    一共需要三次上下文切换、四次拷贝（两次cpu两次DMA）：
    在这里插入图片描述

零拷贝：

  1. 直接I/O，应用程序可以直接访问存储硬件以及网络硬件接口。
  2. mmap()：应用程序和内核共享缓存，这样就能减少一次内核->应用程序的cpu拷贝。但是不减少上下文切换次数。
    缺点：当对文件进行了内存映射，然后调用 write() 系统调用，如果此时其他的进程截断了这个文件，那么 write() 系统调用将会被总线错误信号 SIGBUS 中断。
    解决方案：使用文件租借锁。
  3. 带有 DMA 收集拷贝功能的 sendfile()：前提是应用程序不需要对数据做任何处理，内核缓存数据不经过用户态，直接DMA拷贝给网卡。最终版能减少一次上下文切换，减少两次cpu拷贝（真正实现cpu零拷贝）

实践总结（个人本篇总结精华）：

BIO-select-epoll个人总结 + redis线程模型https://blog.csdn.net/bintoYu/article/details/106693290

java web三大组件

  1. Servlet：浅析Servlet执行原理
    Servlet知识点复习:https://blog.csdn.net/littlexbear/article/details/89284307
  2. Listener：JavaWeb三大技术之Listener
  3. Fiilter Java web三大组件之-----Filter过滤器

rocketmq

我自己整理的博客：rocketmq 源码阅读笔记-https://blog.csdn.net/bintoYu/article/details/103222293

余冰涛
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
面向网络编程
m0_53759414的博客
04-13 208
面向网络编程 计算机网络 把分布在不同地方的计算机通过通信设备连接起来，通过软件实现资源共享。 网络编程 Java语言支持网络，Java语言把网络实现细节封装成不同的类，使用这些类，开发的程序，就可以实现网络间数据传输。 ServerSocket 服务器端 Socket 客户端 网络编程的核心要素 如何精准的找到网络中的某台主机（通过IP+端口号） 找到后如何可靠高效的进行高效的传输（网络传输协议，TCP，UDP） OSI七层模型 应用层/表示层/会话层/运输层/网络层/
网络编程
qq_36633450的博客
12-14 102
DAY15 一、网络编程的引入：
网络编程(全)
热门推荐
weixin_45012397的博客
04-22 1万+
TCP通信能实现两台计算机之间的数据交互，通信的两端，要严格区分为客户端（Client）与服务端（Server）。服务端程序，需要事先启动，等待客户端的连接。客户端主动连接服务器端，连接成功才能通信。服务端不可以主动连接客户端。类表示。创建Socket对象，向服务端发出连接请求，服务端响应请求，两者建立连接开始通信。类表示。创建对象，相当于开启一个服务，并等待客户端的连接。
网络编程基础知识
C_Trip的博客
11-23 3719
什么是网络，协议本质，网络分层、什么是报头以及为什么要有报头，端口号
网络编程知识
上官宏竹的专栏
09-15 1851
就是说对方处于LAST_ ACK 状态下的SOCKET可能会因为超时未收到ACK报文，而重发FIN报文，所以这个。
企业网站如何选择适合自己的服务器?
jisuyunzzc的博客
09-13 537
企业网站如何选择适合自己的服务器? 众所周知，在网站建设之初企业应该首先决定好选购什么样式的网站服务器，网站服务器对网站的加载速度起到决定性作用，如果无法保证网站的加载速度这对网站后期的优化工作进行也是具有难度的，那么企业到底应该如何选择网站服务器呢?下面就针对该问题进行详细分析，希望可以帮助到大家哦。 1、重要参数 通常网站服务器大多是使用CPU的类型，不过服务器还有其他两种架构可选分别为RISC和CISC。前者是以使用RISC技术为主更为高档，普遍使用Unix操作系统;而后者CISC广受中小企业所信赖
网络编程详解
m0_37671741的博客
12-10 2783
网络编程中有两个主要的问题： （1）如何准确的定位网络上一台或多台主机（IP和端口号） （2）找到主机后如何可靠高效地进行数据传输（网络通信协议） 传输层协议 （1）TCP协议（传输控制协议，Transmission Control Protocol） 使用TCP协议前，须先建立TCP连接，形成数据通道 传输前，采用“三次握手”方式，是可靠的 TCP协议进行通信的两个应用进程：...
《TCP/IP网络编程》尹圣雨-各章节代码汇总
09-15
内容概要：主要收录了《TCP/IP网络编程》这本书每个章节内容所用到的代码，可以直接运行（是C语言文件，最好在Linux系统中运行使用） 适合人群：有一定编程语言基础，网络编程方面零基础也可学习 能学到什么：结合...
Java面向对象编程上机-练习题汇总.doc
12-02
Java面向对象编程上机-练习题汇总 以下是根据给定的文件信息，生成的相关知识点： 一、类的成员变量： * Guessing Game：定义一个类 A，有一个成员变量 v，初值为 100。类 A 的对象可以猜测成员变量 v 的值，如果...
VC++ 网络编程程序汇总
05-27
通过使用套接字来达到进程间通信目的编程就是网络编程。windows提供的基于网络编程的就是套接字也就是winsock
socket网络编程
01-27
一个简单的socket网络编程例子： 服务器代码： #include #include #include #include #pragma comment(lib,"ws2_32.lib") //这句话的意思是加载ws2_32.lib这个静态库 #define NETWORK_EVENT WM_USER+100 //如果你用mfc做开发，你可以点击菜单project-〉setting-〉link-〉object/library中添加这个静态库。 //如果你用c语言，你需要通过#pragma comment（命令来连接静态库 int main(int argc, char* argv[]){ HANDLE hThread = NULL; //判断是否输入了端口号 if(argc!=3){ printf("Usage: %sPortNumber\n",argv[1]); exit(-1); } //把端口号转化成整数 short port; if((port = atoi(argv[2]))==0){ printf("端口号有误！"); exit(-1); } WSADATA wsa; //初始化套接字DLL if(WSAStartup(MAKEWORD(2,2),&wsa)!=0){ //高字节指定了次版本号，低字节指定了主版本号，两个字节加到一起，就是你想要的Winsock库的版本号了 printf("套接字初始化失败!"); exit(-1); } //创建套接字 SOCKET serverSocket; if((serverSocket=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP))==INVALID_SOCKET){ printf("创建套接字失败！"); exit(-1); } struct sockaddr_in serverAddress; memset(&serverAddress,0,sizeof(sockaddr_in)); serverAddress.sin_family=AF_INET; serverAddress.sin_addr.S_un.S_addr = htonl(INADDR_ANY); serverAddress.sin_port = htons(port); //绑定 if(bind(serverSocket,(sockaddr*)&serverAddress,sizeof(serverAddress))==SOCKET_ERROR){ printf("套接字绑定到端口失败！端口: %d\n",port); exit(-1); } //进入侦听状态 if(listen(serverSocket,SOMAXCONN)==SOCKET_ERROR){ printf("侦听失败！"); exit(-1); } printf("Server %d is listening......\n",port); SOCKET clientSocket[5],maxSocket;//用来和客户端通信的套接字 struct sockaddr_in clientAddress;//用来和客户端通信的套接字地址 memset(&clientAddress,0,sizeof(clientAddress)); int addrlen = sizeof(clientAddress); fd_set fd_read; int i=0; int j; char buf[4096]; char buff[4096]="exit"; while(1) { FD_ZERO(&fd_read); maxSocket=serverSocket; FD_SET(serverSocket,&fd_read); //FD_SET(clientSocket[i-1],&fd_read); for(j=0;j<i;j++) { FD_SET(clientSocket[j],&fd_read); if(maxSocket"); //gets(buff); if(select(maxSocket+1,&fd_read,NULL,NULL,NULL)>0) { if(FD_ISSET(serverSocket,&fd_read)) { if(buff=="") { if((clientSocket[i++]=accept(serverSocket,(sockaddr*)&clientAddress,&addrlen))==INVALID_SOCKET) { printf("接受客户端连接失败！"); exit(-1); } else { for(j=0;j5) { printf("超过最大客户端数"); exit(-1); } } else { int bytes; for(int k=0;k<i;k++) { if(FD_ISSET(clientSocket[k],&fd_read)) { bytes=recv(clientSocket[k],buf,sizeof(buf),0); if(bytes==-1) { //listen(serverSocket,SOMAXCONN); for (int l=k;l<i;l++) clientSocket[l]=clientSocket[l+1]; i--; } /*if(bytes==0) { //printf("fdsdf"); listen(serverSocket,SOMAXCONN); for (int l=k;l0) { buf[bytes]='\0'; printf("Message from %s: %s\n",inet_ntoa(clientAddress.sin_addr),buf); if(send(clientSocket[k],buf,bytes,0)==SOCKET_ERROR) { printf("发送数据失败！"); exit(-1); } } } } } } } //清理套接字占用的资源 WSACleanup(); return 0; } 客户端代码： #include #include #include #pragma comment(lib,"ws2_32.lib") int main(int argc, char* argv[]){ //判断是否输入了IP地址和端口号 if(argc!=4){ printf("Usage: %s IPAddress PortNumber\n",argv[1]); exit(-1); } //把字符串的IP地址转化为u_long unsigned long ip; if((ip=inet_addr(argv[2]))==INADDR_NONE){ printf("不合法的IP地址：%s",argv[1]); exit(-1); } //把端口号转化成整数 short port; if((port = atoi(argv[3]))==0){ printf("端口号有误！"); exit(-1); } printf("Connecting to %s:%d......\n",inet_ntoa(*(in_addr*)&ip),port); WSADATA wsa; //初始化套接字DLL if(WSAStartup(MAKEWORD(2,2),&wsa)!=0){ printf("套接字初始化失败!"); exit(-1); } //创建套接字 SOCKET sock,serverSocket; if((sock=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP))==INVALID_SOCKET){ printf("创建套接字失败！"); exit(-1); } struct sockaddr_in serverAddress; memset(&serverAddress,0,sizeof(sockaddr_in)); serverAddress.sin_family=AF_INET; serverAddress.sin_addr.S_un.S_addr = ip; serverAddress.sin_port = htons(port); //建立和服务器的连接 if(connect(sock,(sockaddr*)&serverAddress,sizeof(serverAddress))==SOCKET_ERROR) { printf("建立连接失败！"); exit(-1); } char buf[4096]; while(1){ printf(">"); //从控制台读取一行数据 gets(buf); if(send(sock,buf,strlen(buf),0)==SOCKET_ERROR){ printf("发送c数据失败！"); exit(-1); } int bytes; if((bytes=recv(sock,buf,sizeof(buf),0))==SOCKET_ERROR) { printf("接收c数据失败!\n"); exit(-1); } else { buf[bytes]='\0'; printf("Message from %s: %s\n",inet_ntoa(serverAddress.sin_addr),buf); } } //清理套接字占用的资源 WSACleanup(); return 0; }
基于java的网络编程ppt课件.ppt
11-13
Java的网络编程主要聚焦在如何让程序在不同的计算节点间协同工作，这在分布式计算领域至关重要。基于Java的网络编程，尤其是RMI（Remote Method Invocation，远程方法调用），是Java实现这一目标的关键技术。 RMI是...
python程序员面试常见问题汇总 包含：基础知识、爬虫、正则表达式、网络编程、Flask、Django
02-10
包含：基础知识、爬虫、正则表达式、网络编程、Flask、Django。 例如： 1、基础篇：python的优缺点、深拷贝和浅拷贝之间的区别是什么、列表和元组之间的区别等； 2、进阶篇：python中如何使用多进制数字？怎样获取...
网络编程的总结
最新发布
zzqstar2020的博客
09-18 97
最近
网络编程（详细）
Aladdin.Cao的博客
10-09 8939
网络编程从大的方面说就是对信息的发送到接收，中间传输为物理线路的作用。网络编程最主要的工作就是在发送端把信息通过规定好的协议进行组装包，在接收端按照规定好的协议把包进行解析，从而提取出对应的信息，达到通信的目的。中间最主要的就是数据包的组装，数据包的过滤，数据包的捕获，数据包的分析，当然最后再做一些处理，代码、开发工具、数据库、服务器架设和网页设计这5部分都会接触。
输出可编程交换机P4数据面编程实现AI计算卸载架构设计说明书
05-11
说明 本文介绍了一种基于可编程交换机P4数据面编程的AI计算卸载架构设计，该架构将AI计算任务从传统的CPU/GPU计算节点中卸载，转移到网络交换机中进行计算，以此提高计算效率和网络性能。 架构设计 该架构由三个部分组成：AI计算任务生成器、P4数据面编程程序、AI计算结果汇总器。 1. AI计算任务生成器 AI计算任务生成器负责生成需要在网络交换机中执行的计算任务。该任务可以是各种类型的机器学习模型，如神经网络、决策树等。生成的任务将被编码为P4数据面编程程序，并发送到网络交换机中执行。 2. P4数据面编程程序 P4数据面编程程序是一个可编程交换机的程序，用于描述网络交换机的数据包处理逻辑。在本架构中，P4数据面编程程序被用于执行AI计算任务。该程序读取网络数据包中的计算任务并执行它们。执行结果将被存储在网络交换机的内存中，以便后续的结果汇总。 3. AI计算结果汇总器 AI计算结果汇总器负责收集网络交换机中存储的计算结果，并将它们汇总到一个统一的地方，如一个专门的计算节点或一个存储系统。该汇总器可以使用各种通信协议，如TCP、UDP等，与网络交换机进行通信，并获取计算结果。 优势 使用可编程交换机P4数据面编程实现AI计算卸载架构具有以下优势： 1. 提高计算效率：在网络交换机中执行AI计算任务，可以将计算任务从传统的CPU/GPU计算节点中卸载，从而提高计算效率。 2. 提高网络性能：通过在网络交换机中执行计算任务，可以减少网络流量和延迟，从而提高网络性能。 3. 支持动态计算：网络交换机可以根据实时计算需求动态地执行计算任务，从而提高计算效率和网络性能。 总结 本文介绍了一种基于可编程交换机P4数据面编程的AI计算卸载架构设计。该架构将AI计算任务从传统的CPU/GPU计算节点中卸载，转移到网络交换机中进行计算，以此提高计算效率和网络性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值