0x01 缘由
在网络数据包处理过程中,大量的包处理,就涉及到IP分片和重组。TCP/IP协议原理中,有对为什么要IP分片有描述。
在TCP/IP分层中,数据链路层用MTU(Maximum Transmission Unit,最大传输单元)来限制所能传输的数据包大小,MTU是指一次传送的数据最大长度,不包括数据链路层数据帧的帧头,如以太网的MTU为1500字节,实际上数据帧的最大长度为1512字节,其中以太网数据帧的帧头为12字节。
当发送的IP数据报的大小超过了MTU时,IP层就需要对数据进行分片,否则数据将无法发送成功。
0x02 介绍
该库实现IPv4和IPv6包分片和重组。
1.包分片
包分片程序将一个包分解为多个分片。rte_ipv4_fragment_packet()和rte_ipv6_fragment_packet()函数都假定输入mbuf数据指向分组的IP报头的开始(即L2报头已经被剥离)。为避免实际包的拷贝,rte_pktmbuf_attach()使用了零拷贝技术。
对于么每个分片将创建两个新的mbufs结构:
Direct mbuf--mbuf将包含新分片的L3头部。
Indirect mbuf--mbuf将附加在原始数据包上。它的数据域指针指向原始数据包附加偏移的开始处。
L3 头部从原来mbuf结构中赋值到direct mbuf结构,并且更新分片状态。注意IPv4,头部校验和不会重新计算,且校验和置位0。
最后,通过mbuf的下一个文件将每个片段的“直接”和“间接”mbuf链接在一起,以构成新片段的数据包。
调用者有能力明确指定哪些mempools应用于从中分配“直接”和“间接”mbufs。
2.包重组
2.1 IP分片表
分片表维持一个已经接受的包的分片信息。每个Ip 包有一个唯一的标识,通过三元组 源ip-目的ip-id。
注意:所有的更新和查找操作为非线程安全的。因此,如果不同的执行上下文(线程/进程)将同时访问同一个表,那么必须提供一些外部同步机制。
每个表条目能够持有信息关于包由多少分片组成( RTE_LIBRTE_IP_FRAG_MAX,默认为4)。
代码例子,说明一个分片表的创建:
frag_cycles = (rte_get_tsc_hz() + MS_PER_S - 1) / MS_PER_S * max_flow_ttl;
bucket_num = max_flow_num + max_flow_num / 4;
frag_tbl = rte_ip_frag_table_create(max_flow_num, bucket_entries, max_flow_num, frag_cycles, socket_id);
内部分片表是一个简单的hash表。这个基本做法是用两个hash函数和桶条目组成。提供了2 * <bucket_entries>可能的位置为每个key的hash表。当发生冲突并且所有2 * <bucket_entries>都被占用时,ip_frag_tbl_add()只是返回失败,而不是将现有的Key重新插入到另外的位置。
而且,表中长于<max cycles>的条目也被认为是无效的,可以被新的条目删除/替换。
请注意,重新组合需要分配很多mbuf。 在任何给定时间(2 * bucket_entries * RTE_LIBRTE_IP_FRAG_MAX * <每个数据包的最大mbufs数>>)可以存储在等待剩余片段的Fragment Table中。
2.2 包重组
通过rte_ipv4_frag_reassemble_packet()/rte_ipv6_frag_reassemble_packet完成分片和重组处理。它们返回一个指向有效mbuf的指针,它包含重新组合的数据包,或者返回NULL(如果数据包由于某种原因而无法重新组合)。
这些函数负责:
1、用包的三元组(src_ip,dest_ip,id)搜索分片表。
2、如果条目发现,检查条目是否超时。如果超时,释放前面所有分片,然后移除关于这个条目的所有信息。
3、如果这个key没有找到相关条目,按照如下步骤 尝试创建一个新的:
a.用作空条目。
b.删除超时条目,释放相关mbufs,存储一个指定key的新条目。
4、用新的分片信息更新条目,并且检查一个包是否被重组。(这个包条目包含所有的分片)。
a.如果是,重组包,标记表的条目为空,并返回一个重组mbuf的调用。
b.如果不是,返回一个NULL给调用者。
如果在分组处理的任何阶段遇到错误(例如:不能将新条目插入片段表或无效/超时片段),则该函数将释放所有与分组片段相关联的标记表条目 作为无效并将NULL返回给调用者。
2.3 调试日志和统计收集
RTE_LIBRTE_IP_FRAG_TBL_STAT配置宏控制片段表的统计信息收集。 此宏默认情况下未启用。RTE_LIBRTE_IP_FRAG_DEBUG控制IP片段处理和重新组装的调试日志记录。 默认情况下禁用此宏。 请注意,在日志记录包含大量详细信息时,会减慢数据包处理速度,并可能导致丢失大量数据包。
0x03 源码
/* if this is an IPv4 packet */
if (m->ol_flags & PKT_RX_IPV4_HDR) {
struct ipv4_hdr *ip_hdr;
uint32_t ip_dst;
/* Read the lookup key (i.e. ip_dst) from the input packet */
ip_hdr = rte_pktmbuf_mtod(m, struct ipv4_hdr *);
ip_dst = rte_be_to_cpu_32(ip_hdr->dst_addr);
/* Find destination port */
if (rte_lpm_lookup(rxq->lpm, ip_dst, &next_hop) == 0 &&
(enabled_port_mask & 1 << next_hop) != 0) {
port_out = next_hop;
/* Build transmission burst for new port */
len = qconf->tx_mbufs[port_out].len;
}
/* if we don't need to do any fragmentation */
if (likely (IPV4_MTU_DEFAULT >= m->pkt_len)) {
qconf->tx_mbufs[port_out].m_table[len] = m;
len2 = 1;
} else {
len2 = rte_ipv4_fragment_packet(m,
&qconf->tx_mbufs[port_out].m_table[len],
(uint16_t)(MBUF_TABLE_SIZE - len),
IPV4_MTU_DEFAULT,
rxq->direct_pool, rxq->indirect_pool);
/* Free input packet */
rte_pktmbuf_free(m);
/* If we fail to fragment the packet */
if (unlikely (len2 < 0))
return;
}
详细查看另一篇博文。