sk_buff 整理笔记（一、数据结构）

        在这几天的工作中总是或多或少的接触到了sk_buff结构体。后来我觉得这样时不时地学点sk_buff结构还不如干脆花段时间来研究下这个重要的结构体。所以我就学习了《深入理解linux网络技术内幕》有关sk_buff结构的介绍，这系列博文本来是我根据《深入理解linux网络技术内幕》学习整理而来的，可以算作是笔记吧。后来在看sk_buff克隆和拷贝时，又看了下《linux内核源码剖析：TCP/IP实现》。现在这博文是经过修改的，所以也加进了在《llinux内核源码剖析：TCP/IP实现》学习到的内容。大家也可以看看原文对sk_buff结构体的一些讲解，原文分别在第二章关键数据结构：套接字缓冲区：sk_buff结构和第三章：套接字缓存。如果没有电子书的，可以私信我留下邮箱地址。

        我要先感谢下这两本书的作者以及译者，《深入理解linux网络技术内幕》是linux网络中的一本经典之作，对于学习linux网络来说是非常有用的，这是本全面宏观的介绍linux网络的书；《linux内核源码剖析：TCP/IP实现》我开始看的是电子书，这本书吸引我的地方是讲解的非常详细，而且是非常简洁，尤其是对各个知识点的讲解非常透彻。

       下面开始正式的讲解sk_buff结构内容，至于sk_buff结构体的重要性以及历史背景之类的我就不过多废话了。

sk_buff结构体：

        第一、内核中sk_buff结构体在各层协议之间传输不是用拷贝sk_buff结构体，而是通过增加协议头和移动指针来操作的。如果是从L4传输到L2，则是通过往sk_buff结构体中增加该层协议头来操作；如果是从L4到L2，则是通过移动sk_buff结构体中的data指针来实现，不会删除各层协议头。这样做是为了提高CPU的工作效率。

        第二、sk_buff结构体中有很多条件编译，比如：

        #ifdef CONFIG_BRIDGE_NETFILTER
    struct nf_bridge_info*nf_bridge;
        #endif

        因为sk_buff结构体是linux网络代码中最重要的数据结构，是整个网络传输载体。所以sk_buff结构体里面有很多关于其他功能的成员字段，比如：防火墙，子路由系统，多播等。这些字段并不是一定有的，只有在满足特点条件才有的。所以可以在需要的时候再去关心这些成员字段，现在我们只来讲解下一般的成员字段。

       第三、下面就直接来看sk_buff结构体了。为了好理解结构中的一些成员字段，先把后面要讲的内容提前说下。sk_buff结构体关联多个其他结构体，第一是数据区：由sk_buff中head和end指向的数据块，用来存储sk_buff结构的数据也即是存储数据包的内容和各层协议头。第二是分片结构：用来表示IP分片的一个结构体，实则上是和sk_buff结构的数据区相连的，即是end指针的下一个字节开始就是分片结构。也正是此原因，所以分片结构和sk_buff数据区内存分配及销毁时都是一起的。第三个是分片结构指向的数据区，即是IP分片内容。下面开始看sk_buff结构体：

struct sk_buff {
	/* These two members must be first. */
	struct sk_buff		*next;  //  因为sk_buff结构体是双链表，所以有前驱后继。这是个指向后面的sk_buff结构体指针
	struct sk_buff		*prev;  //  这是指向前一个sk_buff结构体指针
	//老版本（2.6以前）应该还有个字段： sk_buff_head *list  //即每个sk_buff结构都有个指针指向头节点
	struct sock		    *sk;  // 指向拥有此缓冲的套接字sock结构体，即：宿主传输控制模块
	ktime_t			tstamp;  // 时间戳，表示这个skb的接收到的时间，一般是在包从驱动中往二层发送的接口函数中设置
	struct net_device	*dev;  // 表示一个网络设备，当skb为输出/输入时，dev表示要输出/输入到的设备
	unsigned long	_skb_dst;  // 主要用于路由子系统，保存路由有关的东西
	char			cb[48];  // 保存每层的控制信息,每一层的私有信息
	unsigned int		len,  // 表示数据区的长度(tail - data)与分片结构体数据区的长度之和。其实这个len中数据区长度是个有效长度，
                                      // 因为不删除协议头，所以只计算有效协议头和包内容。如：当在L3时，不会计算L2的协议头长度。
				data_len;  // 只表示分片结构体数据区的长度，所以len = (tail - data) + data_len；
	__u16			mac_len,  // mac报头的长度
				hdr_len;  // 用于clone时，表示clone的skb的头长度
	// 接下来是校验相关域，这里就不详细讲了。
	__u32			priority;  // 优先级，主要用于QOS
	kmemcheck_bitfield_begin(flags1);
	__u8			local_df:1,  // 是否可以本地切片的标志
				cloned:1,  // 为1表示该结构被克隆，或者自己是个克隆的结构体；同理被克隆时，自身skb和克隆skb的cloned都要置1
				ip_summed:2, 
				nohdr:1,  // nohdr标识payload是否被单独引用，不存在协议首部。                                                                                                       // 如果被引用，则决不能再修改协议首部，也不能通过skb->data来访问协议首部。</span></span>
				nfctinfo:3;
	__u8			pkt_type:3,  // 标记帧的类型
				fclone:2,   // 这个成员字段是克隆时使用，表示克隆状态
				ipvs_property:1,
				peeked:1,
				nf_trace:1;
	__be16			protocol:16;  // 这是包的协议类型，标识是IP包还是ARP包或者其他数据包。
	kmemcheck_bitfield_end(flags1);
	void	(*destructor)(struct sk_buff *skb);  // 这是析构函数，后期在skb内存销毁时会用到
#if defined(CONFIG_NF_CONNTRACK) || defined(CONFIG_NF_CONNTRACK_MODULE)
	struct nf_conntrack	*nfct;
	struct sk_buff		*nfct_reasm;
#endif
#ifdef CONFIG_BRIDGE_NETFILTER
	struct nf_bridge_info	*nf_bridge;
#endif
	int			iif;  // 接受设备的index
#ifdef CONFIG_NET_SCHED
	__u16			tc_index;	/* traffic control index */
#ifdef CONFIG_NET_CLS_ACT
	__u16			tc_verd;	/* traffic control verdict */
#endif
#endif
	kmemcheck_bitfield_begin(flags2);
	__u16			queue_mapping:16;
#ifdef CONFIG_IPV6_NDISC_NODETYPE
	__u8			ndisc_nodetype:2;
#endif
	kmemcheck_bitfield_end(flags2);
	/* 0/14 bit hole */
#ifdef CONFIG_NET_DMA
	dma_cookie_t		dma_cookie;
#endif
#ifdef CONFIG_NETWORK_SECMARK
	__u32			secmark;
#endif
	__u32			mark;
	__u16			vlan_tci;
	sk_buff_data_t		transport_header;      // 指向四层帧头结构体指针
	sk_buff_data_t		network_header;	       // 指向三层IP头结构体指针
	sk_buff_data_t		mac_header;	       // 指向二层mac头的头
	/* These elements must be at the end, see alloc_skb() for details.  */
	sk_buff_data_t		tail;			  // 指向数据区中实际数据结束的位置
	sk_buff_data_t		end;			  // 指向数据区中结束的位置（非实际数据区域结束位置）
	unsigned char		*head,			  // 指向数据区中开始的位置（非实际数据区域开始位置）
				*data;			  // 指向数据区中实际数据开始的位置			
	unsigned int		truesize;		  // 表示总长度，包括sk_buff自身长度和数据区以及分片结构体的数据区长度
	atomic_t		users;                    // skb被克隆引用的次数，在内存申请和克隆时会用到
};   //end sk_buff

         第四、结构体中常用字段解释：  

        char   cb[48]；这个字段是skb信息控制块，也就是存储每层的一些协议信息，当数据包在哪一层时，存储的就是哪一层协议信息。这个字段由数据包所在层使用和维护，如果要访问本层协议信息，可以通过用一些宏来操作这个成员字段。如：#define TCP_SKB_CB(__skb)  ((struct tcp_skb_cb *)&((__skb)->cb[0]))

        _u8   fclone:2；这是个克隆状态标志，到sk_buff结构内存申请时会使用到。这里提前讲下：若fclone = SKB_FCLONE_UNAVAILABLE，则表明SKB未被克隆；若fclone = SKB_FCLONE_ORIG，则表明是从skbuff_fclone_cache缓存池（这个缓存池上分配内存时，每次都分配一对skb内存）中分配的父skb，可以被克隆；若fclone = SKB_FCLONE_CLONE，则表明是在skbuff_fclone_cache分配的子SKB，从父SKB克隆得到的；

        atomic_t users；这是个引用计数，表明了有多少实体引用了这个skb。其作用就是在销毁skb结构体时，先查看下users是否为零，若不为零，则调用函数递减下引用计数users即可；当某一次销毁时，users为零才真正释放内存空间。有两个操作函数：atomic_inc()引用计数增加1；atomic_dec()引用计数减去1；

        第五、几个数据长度len的解析：

        (1)sk_buff->data_len：只计算分片中数据的长度，即是分片结构体中page指向的数据区长度。这个在分片结构体中会再详细讲解下。

        (2)sk_buff->len：表示当前缓冲区中数据块的大小的总长度。它包括主缓冲中（即是sk_buff结构中指针data指向）的数据区的实际长度（data-tail）和分片中的数据长度。这个长度在数据包在各层间传输时会改变，因为分片数据长度不变，从L2到L4时，则len要减去帧头大小和网络头大小；从L4到L2则相反，要加上帧头和网络头大小。所以：len = (data - tail) + data_len；

        (3)sk_buff->truesize：这是缓冲区的总长度，包括sk_buff结构和数据部分。如果申请一个len字节的缓冲区，alloc_skb函数会把它初始化成len+sizeof(sk_buff)。当skb->len变化时，这个变量也会变化。所以：truesize = len + sizeof(sk_buff) = (data - tail) + data_len + sizeof(sk_buff)；

        第六、数据包在各层间传输时，data指针的变化：

        在第一的时候就讲了，sk_buff在各层间传输时，只改变指针和添加协议头，不拷贝也不删除协议头。下面来看下处理的详细进过，首先要说下，每一层协议都有个自身的协议头指针，如：二层有mac，三层有nh（nethead网络头），四层有h（head）。现在我用的内核版本把这几个协议头指针变为了：二层为mac_header，三层为network_header，四层为transport_header。下面就简单介绍下包的传输和data指针变化情况。

        假设从收包开始：

       （1）开始进入第二层时，这时data指针指向帧头。mac = data，然后操作mac指针已经数据包。当二层操作完后把包往三层传送时，会调用一个函数（具体什么函数后面会详细讲）让data指针指向三层的IP头；

       （2）当包进入第三层时，这时data指针已经指向了IP头，让nh = data，然后操作nh指针已经数据包，当三层操作完后把包往四层传送时，同样调用一个函数把data指向四层的TCP头；同理，四层也是一样处理的，只移动指针，不删除协议头。发包时就相反了，只是变成了为每一层添加协议头了。下面是书上的图，供参考。

                        

sk_buff_head结构体：

        sk_buff结构体是双链表结构，其头结点就是sk_buff_head结构。

struct sk_buff_head {
/* These two members must be first. */
struct sk_buff*next;
struct sk_buff*prev;
__u32 qlen;//代表表中skb元数的个数
spinlock_t lock;//锁，防止并发访问
};

        其实如果要学习linux内核我建议还是从list.h文件开始学起，因为那是内核常用的结构（循环双链表，哈希链表），以及里面还有些操作宏。如果学懂了list.h文件，那么看内核中其他结构将会更简单些（因为里面的一些指针和内核定义的操作宏都非常类似）。先来解释下sk_buff_head结构体成员，qlen表示当前链表中skb的个数，lock成员是自旋锁这个为了构成一个原子操作，防止多条线程同时访问结构体，后面会详细解释下。这里重点解释下next和prev，这是个前驱后继指针，这里内核特意注释规定了前两个成员一定要是：next和prev指针。因为这使得sk_buff_head和sk_buff可以放到同一个链表中，尽管他们不是同一种结构体。另外，相同的函数可以同样应用于sk_buff_head和sk_buff。很多blog都这么说，但为什么sk_buff的指针(prev和next)能够指向sk_buff_head结构呢？我查了很多资料，没结果。但最后我发现原文有句话是关键：“......在表的开端额外增加一个sk_buff_head结构作为一种哑元元素。”

       sk_buff_head结构体和sk_buff结构体关系：

                          
        上面的图为《深入理解linux网络技术内幕》原文图，显示了sk_buff_head和sk_buff结构体链表。但上面sk_buff结构体是内核2.6.xx.xx比较前的版本的，我现在用的是：内核2.6.32.63版本的。sk_buff结构中没有list这个成员了。

sk_buff结构体数据区：

        sk_buff结构体只是网络数据包中的一些配置，真正包含传输内容和传输协议的都是在sk_buff结构体中几个指针所指向的数据区中。这里先简称数据区，数据区的大小是：(skb->end  - skb->head)；对于每个数据包来说这个大小都是固定的，而且在传输过程中skb->end和skb->head所指向的地址都是不变的。这块数据区是用来存放应用层发下来的数据和各层的协议信息。但在计算数据长度或者操作协议信息时，一般都要和实际的数据存放指针为准。实际数据指针为data和tail，data指向实际数据开始的地方，tail指向实际数据结束的地方。

        下面来看下sk_buff结构体中的指针和数据区关系：

                    

        讲到了sk_buff结构和其数据区，那么就把包的形成和数据区的变化一起讲下：

        （1）sk_buff结构数据区刚被申请好，此时head指针、data指针、tail指针都是指向同一个地方。记住前面讲过的：head指针和end指针指向的位置一直都不变，而对于数据的变化和协议信息的添加都是通过data指针和tail指针的改变来表现的。

        （2）开始准备存储应用层下发过来的数据，通过调用函数 skb_reserve()来使data指针和tail指针同时向下移动，空出一部分空间来为后期添加协议信息。

        （3）开始存储数据了，通过调用函数skb_put()来使tail指针向下移动空出空间来添加数据，此时skb->data和skb->tail之间存放的都是数据信息，无协议信息。

        （4）这时就开始调用函数skb_push()来使data指针向上移动，空出空间来添加各层协议信息。直到最后到达二层，添加完帧头然后就开始发包了。

         下面来看过程图：（上面提到的这几个操作函数在第二篇博文会详细讲到）

      

skb_shared_info分片结构体：

        本来只是想讲sk_buff结构体不想牵扯太多（因为牵扯越多将要花更多时间去学这些东西），但发现到后面克隆和复制skb时，如果不讲分片结构将很难区分开实现克隆、复制的那几个函数。所以这里就稍微的讲解下这个结构体，但是不对结构体中的各个成员字段过多的解释（因为有些成员字段我也不了解，见谅）。

        还是先来看看结构体代码吧：

struct skb_shared_info {
	atomic_t	dataref;// 用于数据区的引用计数,克隆一个skb结构体时，会增加一个引用计数
	unsigned short	nr_frags;// 表示有多少个分片结构
	unsigned short	gso_size;
#ifdef CONFIG_HAS_DMA
	dma_addr_t	dma_head;
#endif
	/* Warning: this field is not always filled in (UFO)! */
	unsigned short	gso_segs;
	unsigned short  gso_type;  // 分片的类型
	__be32          ip6_frag_id;
	union skb_shared_tx tx_flags;
	struct sk_buff	*frag_list; // 这也是一种类型的分配数据
	struct skb_shared_hwtstamps hwtstamps;
	skb_frag_t	frags[MAX_SKB_FRAGS]; // 这是个比较重要的数组，到讲分片结构数据区时会细讲
#ifdef CONFIG_HAS_DMA
	dma_addr_t	dma_maps[MAX_SKB_FRAGS];
#endif
	/* Intermediate layers must ensure that destructor_arg
	 * remains valid until skb destructor */
	void *		destructor_arg;
};

        这个分片结构体和sk_buff结构的数据区是一体的，所以在各种操作时都把他们两个结构看做是一个来操作。比如：为sk_buff结构的数据区申请和释放空间时，分片结构也会跟着该数据区一起分配和释放。而克隆时，sk_buff的数据区和分片结构都由分片结构中的 dataref 成员字段来标识是否被引用。

        下面来看下sk_buff结构的数据区和分片结构的关系图：

                     

        从上图也可以看出来分片结构和sk_buff的数据区连在一起，end指针的下个字节就是分片结构的开始位置。那访问分片结构时，可以直接用end指针作为这个分片结构体的开始（记得要强转成分片结构体）或者用内核定义好的宏： #define skb_shinfo(SKB) ((struct skb_shared_info *)((SKB)- > end)) 去访问也可以，其本质也是返回个sk_buff的end指针。

分片结构体的数据区：

        在讲分片结构时，谈到其中有个成员字段非常重要： skb_frag_t frags[MAX_SKB_FRAGS]; 其实这就和分片结构的数据区有关。下面来讲下这个数字中的元素结构体：

typedef struct skb_frag_struct skb_frag_t;
struct skb_frag_struct {
	struct page *page;  // 指向分片数据区的指针，类似于sk_buff中的data指针
	__u32 page_offset;  // 偏移量，表示从page指针指向的地方，偏移page_offset
	__u32 size;  // 数据区的长度，即：sk_buff结构中的data_len
};

还是请看下面的两幅图：

              
上面这幅图是用数组存储的分片数据区指针的，这是一种分片数据类型。下面看另外一种用frag_list指针来指向的分片数据类型：

               

        对于sk_buff结构体及相关结构体就分析这些吧，这是对sk_buff结构体的一个全面透彻的分析，后面还会研究下sk_buff结构相关的操作函数。