DPDK中的无锁共享数据结构

背景

dpvs多线程，如何做到节约内存、高性能之间的均衡。

解决方法

共享内存

多线程共享内存，意味着节约内存。

无锁操作

无锁操作，意味着高性能。
如果是配置 per-core，也可以做到高性能，不需要加锁，但是会浪费内存。
多线程共享内存，如何做到无锁呢？

新/老共享数据结构

从来都不是对原有共享数据结构进行更新；
每次更新，都是控制线程新建立一个共享数据结构，在转发线程引用新的数据结构之前，转发线程中继续使用原有老的共享数据结构。

rte_ring

通过 rte_ring 的方式，将控制线程中创建的数据结构的指针，传递给转发线程。

refcnt

原子变量的refcnt。
每次被转发线程引用数据结构，则refcnt++;
每次被转发线程解除引用老的数据结构时：先引用新的结构，然后解除对老的结构的引用【refcnt–】；
【保证每个线程中，引用计数–之前，该线程不存在以后不会再对旧的数据结构进行读取；
比如：refcnt–之前，已经不读取了，并且remval了，但是没有free，后续该线程不会再获取到旧的数据结构了
】

refcnt为0时，考虑将共享数据结构释放
【此时应该可以立刻释放，也可以延迟释放】

延迟释放

如果是延迟释放，主要是考虑的释放的时候，是否有其他线程在读取。

中间的黄色部分代表的就是Grace Period，中文叫做宽限期，从Removal（逻辑删除）到Reclamation（物理释放），中间就隔了一个宽限期；
只有当宽限期结束后，才会触发回收的工作，宽限期的结束代表着Reader都已经退出了临界区，因此回收工作也就是安全的操作了；

方法1：读的线程来释放

思想：
释放旧数据的时候可能有线程在读，某线程读完了旧数据之后，再在这个线程中释放旧的数据，做到了读和释放都是一个线程。【该线程读完旧的数据之后，往后的轮询获取的都是新的数据，不会再读取就的数据了，然后就可以释放旧的数据了】

具体：
可以在每个转发线程中，构建一个释放节点的链表，链表中每个节点包含要释放的数据，释放函数等，转发线程CAS的方式更新链表。
在控制线程中，CAS的方式摘取每个转发线程的释放链表，统一进行释放。

方法2：释放线程等到读线程轮询一轮

释放旧的数据的线程，在释放旧的数据的时候，不确定是否有其他的线程正在读取这个数据。可以在释放之前，等待其他线程轮询一轮之后，后续其他线程再次读取的就是新的数据，释放线程就可以释放旧的数据了。

参考

rust中的 无锁数据结构内存管理：
https://rustmagazine.github.io/rust_magazine_2021/chapter_6/rust-lockfree.html#%E6%97%A0%E9%94%81%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84%E5%86%85%E5%AD%98%E7%AE%A1%E7%90%86