网络数据包接收之GRO处理

最新推荐文章于 2024-08-08 14:38:23 发布

原创

最新推荐文章于 2024-08-08 14:38:23 发布 · 3k 阅读

7 ·

CC 4.0 BY-SA版权

本文详细介绍了Linux内核中网络数据包接收时的GRO（Generic Receive Offload）处理步骤，包括检查GRO条件、遍历并合并数据分片、回调通知上层协议、处理skb链表、数据分片保留策略、处理头部扩充、数据包上传及负载均衡等关键环节，涉及网络协议、硬件优化和多处理器系统协调。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

驱动把数据包上传到GRO处理时，调用napi_gro_receive函数进行GRO处理，完成之后才会上传到网络协议层（如TCP/IP层）进行进一步的处理。GRO的处理过程如下：

1、首先检查该网络接口是否允许GRO操作，以及底层硬件是否已经完成了GRO处理，如果没有完成才会继续往下处理；

if (!(skb->dev->features & NETIF_F_GRO) || netpoll_rx_on(skb))
		goto normal;

	if (skb_is_gso(skb) || skb_has_frag_list(skb))
		goto normal;

2、然后遍历NAPI链表上等待GRO合并的数据分片，依次比较它们的地址hash码、MAC头部、VLAN标签、接收的网络设备（因为linux在一个实体网络接口上支持多个虚拟网络接口的原因），标记那些和当前接收数据分片相同的分片。

static void gro_list_prepare(struct napi_struct *napi, struct sk_buff *skb)
{
	struct sk_buff *p;
	unsigned int maclen = skb->dev->hard_header_len;
	u32 hash = skb_get_hash_raw(skb);

	for (p = napi->gro_list; p; p = p->next) {
		unsigned long diffs;

		NAPI_GRO_CB(p)->flush = 0;

		if (hash != skb_get_hash_raw(p)) {
			NAPI_GRO_CB(p)->same_flow = 0;
			continue;
		}

		diffs = (unsigned long)p->dev ^ (unsigned long)skb->dev;
		diffs |= p->vlan_tci ^ skb->vlan_tci;
		if (maclen == ETH_HLEN)
			diffs |= compare_ether_header(skb_mac_header(p),
						      skb_gro_mac_header(skb));
		else if (!diffs)
			diffs = memcmp(skb_mac_header(p),
				       skb_gro_mac_header(skb),
				       maclen);
		NAPI_GRO_CB(p)->same_flow = !diffs;
	}
}

3、回调通知上层协议处理新接收到的数据分片，以及更新流标志的NAPI上的数据分片；

	rcu_read_lock();
	list_for_each_entry_rcu(ptype, head, list) {
		if (ptype->type != type || !ptype->callbacks.gro_receive)
			continue;

		skb_set_network_header(skb, skb_gro_offset(skb));
		skb_reset_mac_len(skb);
		NAPI_GRO_CB(skb)->same_flow = 0;
		NAPI_GRO_CB(skb)->flush = 0;
		NAPI_GRO_CB(skb)->free = 0;
		NAPI_GRO_CB(skb)->udp_mark = 0;

		pp = ptype->callbacks.gro_receive(&napi->gro_list, skb);
		break;
	}
	rcu_read_unlock();

4、如果没有上层协议需要处理该数据分片、或者无法合并该数据包时，则直接递送给网络层协议进行处理；

	if (NAPI_GRO_CB(skb)->flush)
		goto normal;

	if (&ptype->list == head)
		goto normal;

5、如果成功合并到已有数据包中，则不需要进行任何处理，直接返回；

	same_flow = NAPI_GRO_CB(skb)->same_flow;
	ret = NAPI_GRO_CB(skb)->free ? GRO_MERGED_FREE : GRO_MERGED;

	if (same_flow)
		goto ok;

6、如果上层协议返回skb链表，则进行以下处理，原因在哪里？

	if (pp) {
		struct sk_buff *nskb = *pp;

		*pp = nskb->next;
		nskb->next = NULL;
		napi_gro_complete(nskb);
		napi->gro_count--;
	}

7、如果该数据分片将来可能被合并，则暂时将该数据分片保留到NAPI的链表上；如果NAPI上保留了太多的数据分片，则将该链表上最早到达的数据分片递送到网络层进行处理；

	if (unlikely(napi->gro_count >= MAX_GRO_SKBS)) {
		struct sk_buff *nskb = napi->gro_list;

		/* locate the end of the list to select the 'oldest' flow */
		while (nskb->next) {
			pp = &nskb->next;
			nskb = *pp;
		}
		*pp = NULL;
		nskb->next = NULL;
		napi_gro_complete(nskb);
	} else {
		napi->gro_count++;
	}
	NAPI_GRO_CB(skb)->count = 1;
	NAPI_GRO_CB(skb)->age = jiffies;
	NAPI_GRO_CB(skb)->last = skb;
	skb_shinfo(skb)->gso_size = skb_gro_len(