网络协议栈的部分底层实现(文件-＞网络,网络的开始),file结构中的private_data字段,socket结构体,sk_buff结构体,封装报头/解包/上下传递报文的本质

最新推荐文章于 2024-11-14 08:56:30 发布
最新推荐文章于 2024-11-14 08:56:30 发布
阅读量974 收藏 20
点赞数 13
分类专栏： 网络 文章标签： 网络 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74206992/article/details/140043394
版权

目录

网络协议栈的部分底层实现

文件到网络的过渡

private_data 

socket结构体

socket 和 file 中的方法集

网络的开始

如何区分sk字段指向的类型

管理报文(sk_buff结构体)

总结

网络协议栈的部分底层实现

文件到网络的过渡

我们从进程pcb开始梳理

  • pcb里的files字段存放了对应进程所有打开的文件信息 -> files_struct里的fd_array字段就是我们熟悉的文件描述符表 -> 文件结构体struct file
  • 它里面有一个重要的字段 -- private_data

private_data 

是一个通用指针,用于存储与文件相关的特定私有数据,这个字段在文件打开、读写、关闭等操作中被广泛使用

  • 使得不同类型的文件操作能够共享同一个struct file结构，而无需在每次操作时重新分配和初始化特定数据结构

socket结构体

这里的private_data字段就指向struct socket结构体,而该结构体内部有一file指针,指回了file结构体

  • 这样在文件操作过程中,如果使用了socket对象内的数据,可以在使用完后再返回文件操作

除了这个,socket里面还有一个等待队列(struct socket_wq),由wq字段指向该队列

  • 如果当前所需的网络资源没有就绪,就将当前进程挂接到等待队列中(队头后面跟着若干等待队列项),等待资源就绪

以及由ops字段指向的操作方法集struct proto_ops

  • 都是和连接相关的接口+udp协议收发接口(sendmsg,recvmsg)

当我们打开网络文件时

  • 其实是将套接字挂接在了struct file下
  • 这样在上层看来,通过fd就可以操作网络套接字了

从进程pcb开始,一直到socket结构体,实现了从文件到网络的过渡

  • 而从socket结构体中的sock结构开始,才是网络的开始,它会指向具体协议的结构体

socket 和 file 中的方法集

如果我们打开的是网络文件

  • 那么file中的f_op字段指向的就不再是磁盘相关的操作方法了,而是与网络相关
  • 定义了文件的基本操作(打开,读写,关闭等),适用于所有文件类型

但是,socket中也有网络文件操作方法集opts

  • 它里面包含的是专门用于套接字操作/处理网络相关的操作+udp收发
  • 注意!没有tcp的send和recv
  • 因为tcp报文需要进一步发送到sock中的sk_write(发送缓冲区)中
  • 而udp可以直接使用socket中的sendmsg将数据发送到下一层,而不链入队列

这两者有什么区别呢?

  • 其实,file,socket,sock等等,每一层都有自己的方法集,用于将数据处理后交给下层,所以他们是上下层关系

网络的开始

我们使用socket()创建套接字时,需要传入参数来表明自己是哪个类型的套接字

  • 比如:SOCK_STREAM SOCK_...
  • 而在底层,则会根据参数为我们创建对应的结构体 -- struct tcp_socket / udp_socket等

这些协议结构体的第一个成员就是struct sock

  • 所以,实际上struct socket结构体中的sock类型指针sk,指向的是tcp/udp_socket类型中的sock结构体
  • 所以,实际上sock结构体是一个通用的网络套接字抽象

传输层和网络层,都使用了特定数据结构来表示协议

  • 也都定义了与特定协议匹配的方法集

如何区分sk字段指向的类型

那如何识别究竟指向的是什么类型呢?

  • socket结构体中包含一些字段,比如type啦,flag啦,它们可以帮助我们区分sock类型指针指向的究竟是哪个协议的结构体

假如以tcp_socket为例

  • sk字段指向的仅仅是sock类型
  • 如果想要访问tcp协议的其他属性,只需对sk强转即可:

这就相当于在c语言中实现了多态

管理报文(sk_buff结构体)

计算机会收到大量的报文,不同协议类型的/不同服务对应的,它们可能会挤压在计算机里的不同层

  • 这么多的报文,自然也就需要管理起来
  • 也就是系统定义的sk_buff结构体

可以看到,以sock结构体中的发送缓冲区为例

  • 它是以双链表结构将报文组织起来
  • 并且配有自旋锁,因为发送缓冲区可以被多个进程访问

其中,sk_buf结构体中定义了多个字段,指向当前报文的不同位置:

  • head指向报头字段的开始,end是整个报文的结束
  • data指向有效载荷的开始,tail是有效载荷的结束
  • 所以,可以看出来,sk_buff和报文实际存放位置是分开的,通过指针来找到数据 -- 对报文的修改都是在同一块区域做的,所以传递报文时不需要拷贝

因为sk_buf里有上面这四个指针决定了各部分数据的范围

  • 所以,封装报头/解包就是在移动head指针
  • 而如何移动,由所在层的协议决定

实际在代码中,上下传递报文就是在传递sk_buff

  • 在网络层时,报文作为一个整体被处理 ; 到了传输层,需要根据对应协议将报文分发给各自的接收缓冲区,所谓分发,就是将sk_buf组织到双链表中

  • 如果要从上层读取报文,本质上就是通过一大堆的数据结构,到sock结构中的双链表读取sk_buf,最后拿到上层

以上操作均由os完成

总结

通过上面的梳理,我们可以真切理解到,为什么说建立/维护连接是有成本的

  • 每新增一个连接,就要分配一个文件描述符,并创建其之后串联的一大堆数据结构,并更新一些结构中的连接关系
沐风ya
关注
专栏目录
LwIP 之二 网络接口 netif（netif.c、ethernetif.c、slipif.c）、多网口处理
技术干货
05-04 1万+
LwIP 使用 struct netif 来描述一个硬件网络接口。netif 是 LwIP 抽象出来的各网络接口，协议栈可以使用多个不同的接口，而 ./src/netif/ethernet.c、./src/netif/slipif.c 就提供了netif 访问硬件的各接口。
Linux网络协议栈从应用层到内核层③
冯同学的博客
03-25 1129
从源码的角度分析数据是如何在协议栈中，从应用层传递到网卡的
【linux---＞网络套接字编程】
kk1125778230的博客
07-22 153
socket API是一层抽象的网络编程接口,适用于各种底层网络协议,如IPv4、IPv6,以及后面要讲的UNIX DomainSocket. 然而, 各种网络协议的地址格式并不相同// 创建 socket 文件描述符 (TCP/UDP, 客户端 + 服务器) int socket(int domain , int type , int protocol);
进程间通信（管道、XSI---＞SysV、网络套接字）
m0_52547536的博客
07-24 428
进程间通信（管道、XSI--->SysV、网络套接字）
网络协议栈学习之socket, sock_common, sock, 和 sk_buff
ty的博客
06-12 2707
  一直很好奇socket是如何实现的，底层的数据结构又是如何，因此在这里对socket的数据结构进行分析
Linux内核网络协议栈4－socket地址绑定
scdxmoe的专栏
08-25 1236
http://blog.chinaunix.net/uid-22359610-id-461265.html 一、socket绑定入口 1、示例代码 struct sockaddr_in server_address;   server_address.sin_family = AF_INET;   server_addr
【网络】-- 网络编程套接字（UDP网络程序）
weixin_64609308的博客
03-20 625
简单的udp网络程序
cdev linux_手把手教Linux驱动4-进程、文件描述符、file、inode关系详解
weixin_33463850的博客
12-27 189
本文目标什么是文件描述符？进程打开文件相关信息管理Linux设备文件三大结构：inode,file,file_operationsmknod 做了什么事？进程打开设备文件驱动如何支持同类型设备？如何获得注册的设备结构体私有地址?Linux 中一切都可以看作文件，包括普通文件、链接文件、Socket 以及设备驱动等，对其进行相关操作时，都可能会创建对应的文件描述符。文件描述符(file descri...
SElinux内核态的实现-数据库部分-class篇
Salted fish in hand, I have the world.
06-28 336
文章目录前言SELinux内核态简介SELinux数据库的实现安全上下文sidsid与安全上下文映射关系的保存class与permissionclass的实现公用class私有classclass与permission的关联--selinux_mappingselinux_mapping的初始化class查询的优化基于cl...
Linux网络协议栈从应用层到内核层②
冯同学的博客
03-22 1206
bind，listen，connect，accept源码分析，tcp三次握手源码分析
Linux高并发服务器开发---笔记4（网络编程）
weixin_38665351的博客
07-20 3736
0705Linux高并发服务器开发—笔记1见Linux高并发服务器开发—笔记2见Linux高并发服务器开发—笔记3（多线程）视频课链接： 4.6 网络编程1 4.6 网络编程2计算机网络笔记 ②Linux简明系统编程（嵌入式公众号的课）—总课时12h 网卡是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件，又称为网络适配器或网络接口卡NIC。其拥有 MAC 地址，属于 OSI 模型的第 2 层，它使得用户可以通过或相互连接。（即网卡分为以太网卡和无线网卡）每一个网卡都有一个被称为 MAC 地址的独
空间管理员（一）AFS文件目录系统索引节点vfs_inode结构
weixin_53295593的博客
07-20 1396
空间管理员（一）AFS文件目录系统索引节点vfs_inode结构 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录空间管理员（一）AFS文件目录系统索引节点vfs_inode结构前言一、VFS（Virtual File System）虚拟文件系统二、VFS反映设备文件的索引节点对象由dev_inode结构体表示、256字节。总结 前言 现实界： 无数相互作用而运动着的物体，其形态在时空中不断创生与消亡，而构成物体之最小物质单位是不生不灭的、永恒运动的、相互作用的元子（纯阳
File指令
xy的博客
02-20 1157
File指令 功能：file是通过查看文件的头部内容，来获取文件的类型。 使用file命令可以知道某个文件究竟是二进制（ELF格式）的可执行文件, 还是Shell Script文件，或者是其它的什么格式。 file能识别的文件类型：目录、Shell脚本、英文文本、二进制可执行文件、C语言源文件、文本文件、DOS的可执行文件。 在Linux系统中，文件类型根据文件的权限以及文件内容类
Linux网络体系结构
fover717的专栏
06-26 8360
   一 内核结构    按功能，Linux内核可以划分为5个不同的部分，每一部分处理一项明确的功能，同时又向其他内核组件提供这项功能。这种结构也反映到内核的源代码上——这5部分都形成了自己的子树。 1进程管理2内存管理3文件系统4设备驱动程序5网络 二 网络体系结构    先来看一下Linux网络体系结构
AnaTraf | 巧用网络流量分析技术，守护网络 “健康”
Johnstons的博客
11-13 278
这时候，借助流量分析工具查看流量情况，若是发现某条链路的流量出现了异常的高峰，远超正常的带宽承载能力，那很可能就是这条链路出现了拥塞问题，或许是有设备在疯狂发送大量无用的数据，导致网络 “交通堵塞”。比如，长期观察发现某个区域的网络节点总是出现流量高峰，而当前的网络带宽配置又不足以应对这样的高峰，那我们就可以针对性地进行带宽升级，或者调整网络拓扑结构，进行流量的合理分流，让数据能够更加顺畅地在网络中 “流淌”。网络流量分析技术，简单来说，就是对网络中流动的数据进行监测、收集、解析以及统计的技术手段。
UNIX 域套接字
weixin_50993868的博客
11-12 415
UNIX 域套接字（UNIX Domain Socket，简称 UDS）是一种在同一台机器上的进程间通信（IPC，Inter-Process Communication）机制，允许不同的进程通过文件系统中的特殊文件进行数据交换，而不需要通过网络协议栈。这使得 UNIX 域套接字在本地通信中比传统的 TCP/IP 套接字更高效。流式数据：和 TCP 套接字类似，UNIX 域套接字也支持面向流的通信（SOCK_STREAM），以及无连接的报文通信（SOCK_DGRAM）。// 套接字文件的路径。
WIFI 基础知识总结
最新发布
m0_57053438的博客
11-14 226
所谓的互通性就是，不同芯片厂商，产品商的WIFI产品可以基于IEEE802.11标准之下无障碍，流畅的进行通信交互，为了达到这个目的，WIFI联盟提出市面上流通的WIFI产品需要去他们指定的认证实验室进行认证测试。WLAN 技术的出现是为了弥补有线网络的不足，已达到网络延伸的目的，实现无网线，无距离限制的通信网络，目前常用的WLAN实现技术有蓝牙 ，zigbee ， wifi 等；STA（station）：无线工作站，任何wireless设备都可以叫STA，比如正在使用无线网络的平板，手机，电脑等；
【Linux】网络编程3
m0_73839343的博客
11-12 671
该数组里列出这个进程打开的所有文件的文件描述符。数组的下标是文件描述符，是一个整数，而数组的内容是一个指针，指向内核中所有打开的文件的列表，也就是说内核可以通过文件描述符找到对应打开的文件。然后每个文件都有一个inode,Socket 文件的 inode指向了内核中的Socket 结构，在这个结构体里有两个队列，分别是发送队列和接收队列，这个两个队列里面保存的是一个个struct sk_buff，用链表的组织形式串起来。在TCP通信的过程，服务器端会产生两类不同的文件描述符，一个是监听的文件描述符；
【网络安全 | 漏洞挖掘】隐藏的 DOS 技术
等风来
11-11 553
我调查了这些参数的用途，发现它们被传递给了第三方服务，且该服务的文档说明这些参数是安全的。你可以试试这样做：前往https://ash-speed.hetzner.com/并找到一个测试文件（大小大约1到10 GB），如果服务器等待URL请求完成，你可以通过大量此类请求来淹没服务器，从而导致它最终崩溃。于是我发送了一个包含1000个UUID的列表，结果网站在60秒后超时，并出现了显著的延迟。在我的案例中，这导致了客户网站的DOS攻击，问题被发现并快速修复，甚至在我报告漏洞之前。
file->private_data
03-16
file->private_data是一个指向文件私有数据的指针。在Linux内核中，每个打开的文件都有一个file结构体，其中包含了一些文件的元数据信息，例如文件描述符、文件操作函数指针等等。而private_data则是一个指向文件...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值