linux内核网络raw_cpu_add,Linux,了解setsockopt()用于网络扩展的PACKET_FAN...

我已经阅读了packet手册页和一些blog | posts试图了解如何使用PACKET_FANOUT套接字选项来扩展接收数据的处理(我希望使用SOCK_RAW以高速捕获流量,> 10Gbps).我已经阅读了this示例代码(下面复制了),但我不确定我是否完全理解它.

让我们想象一个场景;已在NIC上设置RSS,并且在RX队列之间均匀分配入口流量,有8个核心CPU和8个NIC RX队列,每个RX队列[0-7]分别向CPU [0-7]发送中断(关于MMAP,零拷贝,poll()等的进一步讨论是关于这里的主题).

这是我在示例代码中看到的事件顺序：

> 8个工作线程[0-7]启动,每个线程固定到CPU [0-7].

>每个线程使用与同一物理网卡绑定的setup_socket(),在promisc模式下,以及同一个FANOUT组的所有部分创建一个套接字(我们再说0-7).

>现在我们(例如)工作线程0绑定到CPU 0,它创建了套接字0.此线程进入一个无限循环,仅对套接字0调用read().

>当数据包进入NIC RX队列0时,会向CPU 0发送一个中断.CPU 0将数据包DMA发送到内核接收缓冲区空间. PACKET_FANOUT套接字选项应用了标志PACKET_FANOUT_CPU,因此只有与数据包进入相同CPU核心上的套接字(核心0)才会显示对该套接字进行read()调用时可用的数据(因此创建了套接字0)仅通过线程0)然后将数据复制到该线程的用户区接收缓冲区,因为这个标志.

在我对这个过程的理解中,第4点是主要的疑点.我是否正确理解了在这种情况下如何使用PACKET_FANOUT进行扩展以及如何将工作线程锁定到处理中断的同一核心？

void start_af_packet_capture(std::string interface_name, int fanout_group_id) {

// setup_socket() calls socket() (using SOCK_RAW) to created the socketFD,

// setsockopt() to enable promisc mode on the NIC,

// bind() to bind the socketFD to NIC,

// and setsockopt() again to set PACKET_FANOUT + PACKET_FANOUT_CPU

int packet_socket = setup_socket(interface_name, fanout_group_id);

if (packet_socket == -1) {

printf("Can't create socket

");

return;

}

unsigned int capture_length = 1500;

char buffer[capture_length];

while (true) {

received_packets++;

int readed_bytes = read(packet_socket, buffer, capture_length);

// printf("Got %d bytes from interface

", readed_bytes);

consume_pkt((u_char*)buffer, readed_bytes);

if (readed_bytes < 0) {

break;

}

}

}

...

bool use_multiple_fanout_processes = true;

// Could get some speed up on NUMA servers

bool execute_strict_cpu_affinity = false;

int main() {

boost::thread speed_printer_thread( speed_printer );

int fanout_group_id = getpid() & 0xffff;

if (use_multiple_fanout_processes) {

boost::thread_group packet_receiver_thread_group;

unsigned int num_cpus = 8;

for (int cpu = 0; cpu < num_cpus; cpu++) {

boost::thread::attributes thread_attrs;

if (execute_strict_cpu_affinity) {

cpu_set_t current_cpu_set;

int cpu_to_bind = cpu % num_cpus;

CPU_ZERO(&current_cpu_set);

// We count cpus from zero

CPU_SET(cpu_to_bind, &current_cpu_set);

int set_affinity_result = pthread_attr_setaffinity_np(thread_attrs.native_handle(), sizeof(cpu_set_t), &current_cpu_set);

if (set_affinity_result != 0) {

printf("Can't set CPU affinity for thread

");

}

}

packet_receiver_thread_group.add_thread(

new boost::thread(thread_attrs, boost::bind(start_af_packet_capture, "eth6", fanout_group_id))

);

}

// Wait all processes for finish

packet_receiver_thread_group.join_all();

} else {

start_af_packet_capture("eth6", 0);

}

speed_printer_thread.join();

}

编辑：奖金问题

这可能太不相关了,在这种情况下请建议,我将开始一个单独的SO帖子.这里的目标不仅是扩展多个核心的数据包处理,而且还将数据包处理代码放在接收该数据包的同一核心上(稍后将探索MMAP和RX_RING),以便减少上下文切换和缓存未命中CPU.我的理解是,这个目标正在这里实现,有人可以确认或否认吗？