一、文件组织
rte_mempool.h:mempool类的属性、方法
rte_mempool.c:mempool对象的创建实现、mempool对象与ring对象(默认)的联系。
rte_mempool_ops.c:mempool对象的操作方法定义
rte_mempool_ring.c:mempoolring类型的操作方法
rte_mempool_stack.c:mempool stack类型的操作方法二、mempool功能和结构
1.功能
对于提前申请的内存对象可以并发无锁的申请和释放(消费/生产、出队/入队)。当然可以使用栈的方式操作内存对象。
为了减少多核访问造成的冲突,引入了local_cache对象缓冲区。该local_cache非硬件上的cache,而是为了减少多核访问ring造成的临界区访问,coreX app会优先访问该local_cache上的对象。
入队的时候优先入local_cache中,出队的时候优先从local_cache中出队。
2.结构
mempool结构图:三、使用方法
1、 创建mempool:rte_mempool_create
2、 使用mempool方法操作mempool对象:例如出队列,rte_mempool_get(mp,obj_p);
四、代码解析
1、mempool结构解析
- objhdr_list:把每个objhdr联系起来。可以通过轮询objhdr_list链表,进而轮询每个对象,无论对象是否在ring中,统一管理对象。
- memhdr_list:把每个memzone块联系起来。
- 在每个obj前加obj_hdr意图:可以通过ring中出队的obj,找到对应mempool、和对应obj_tlr。
2、创建一个mempool的流程
- 创建一个mempool尾队列的te头
- 创建一个mempool,hdr+local_cache+trl,并和te的data项联系起来
- 设置mempool的操作方法索引
- 申请一个mempool的操作对象(默认是ring),并将其和mempool联系起来
- 申请memzone内存,把内存对象移植到mempool中(obj_list、mem_list),再用mempool的入队方法(默认ring的入队方法)把内存对象入队到ring中
3、出(入)队的流程
- 找到local_cache
- 如果找到的local_cache为空,或者为单消费者,或者出队的数量比初始化的cache大(local_cache为空或者为单生产者),则从ring中直接出(入)队
- 否者,从local_cache(数量不足时,从ring中补足)出(入)队。
4、关键函数
1、rte_mempool_create_empty()
在rte_mempool_list链表中创建一个节点mempool_tailq_entry,再创建一个*data的实体(rte_mempool + local_cache + private_data),即mempool的数据结构。
2、rte_mempool_populate_phys()
通过已知地址连续的地址,分割出尽可能多的对象(obj_hdr + obj_body + obj_trl)。把obj_body入队到ring中;obj_hdr加入到rte_mempool_objhdr_list链表中;一块地址连续的地址块加入到rte_mempool_memhdr_list链表中。
3、optimize_object_size()
保证rank总数个连续的对象读写,都会落在不同的rank上
根据:两个互质数a,b为了使aX=bY等式成立,那么X最小的整数值是b,Y最小的整数值是a。推出的一个公式,可以自己验证。