linux kernel MSI/MSI-X 中断

最新推荐文章于 2024-09-17 09:09:49 发布

wangyouw

最新推荐文章于 2024-09-17 09:09:49 发布

阅读量1.6k

点赞数 2

分类专栏： linux kernel 文章标签： linux 运维服务器

本文链接：https://blog.csdn.net/wangyouw/article/details/132359427

版权

linux kernel 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

linux kernel - 5.10 中 Documentation/PCI/MSI-HOWTO.txt 原文翻译

1. 关于本指导

本指南描述了消息信号中断(MSIs)的基础知识，使用MSI相对于传统中断机制的优势，如何将您的驱动程序更改为使用MSI或MSI-X，以及一些基本的诊断，如果设备不支持MSIs。

2. 什么是MSIs?

中断信号是一个从设备到一个特殊地址的写操作，它导致一个中断被CPU接收到。

MSI功能首先在PCI 2.2中指定，后来在PCI 3.0中得到增强，允许分别屏蔽每个中断。MSI-X功能也在PCI 3.0中引入。与MSI相比，它支持每个设备更多的中断，并允许中断独立配置。

设备可以同时支持MSI和MSI-X，但一次只能启用其中一种。

3. 为什么使用MSIs?

使用MSIs比传统的基于引脚的中断具有优势的原因有三个。

基于引脚的PCI中断通常在几个设备之间共享。为支持这一点，内核必须调用与中断相关的每个中断处理程序，这会降低系统的整体性能。MSIs从来不共享，所以这个问题不会出现。

当一个设备将数据写入内存，然后引发一个基于引脚的中断时，中断可能在所有数据到达内存之前到达(在PCI-PCI桥接器后面的设备上，这种情况更有可能发生)。为了确保所有数据已经到达内存，中断处理程序必须读取引发中断的设备上的寄存器。PCI事务排序规则要求，所有数据在寄存器返回值之前到达内存。使用MSIs可以避免这个问题，因为产生中断的写操作无法穿透数据写操作提前到达内存，所以在引发中断时，驱动程序知道所有数据已经到达内存。

PCI设备在每个函数上只能支持一个基于引脚的中断。驱动程序通常需要查询设备以确定发生了什么事件，在常见情况下会降低中断处理的速度。使用MSIs，设备可以支持更多的中断，允许每个中断专门用于不同的目的。一种可能的设计是，将非频繁发生的情况(如错误)指定为私有的中断，从而允许驱动程序更有效地处理正常的中断处理路径。其他可能的设计包括向网卡中的每个分组队列或存储控制器中的每个端口提供一个中断。

4. 怎样使用MSIs

PCI设备初始化为使用基于引脚的中断。设备驱动程序必须设置设备以使用MSI或MSI- x。不是所有的机器都正确支持MSIs，对于这些机器，下面描述的api将简单地失败，设备将继续使用基于引脚的中断。

4.1打开包含内核对MSIs的支持

为支持MSI或MSI-X，内核构建时必须启用CONFIG_PCI_MSI选项。该选项仅在某些体系结构上可用，它可能取决于设置的其他一些选项。例如，在x86上，还必须启用X86_UP_APIC或SMP，才能看到CONFIG_PCI_MSI选项。

4.2使用MSI

大部分繁重的工作是在PCI层为驱动程序完成的。驱动程序只需请求PCI层为该设备设置MSI功能。

要自动使用MSI或MSI-X中断向量，请使用以下函数:

int pci_alloc_irq_vectors(struct pci_dev *dev, unsigned int min_vecs,
unsigned int max_vecs, unsigned int flags);

该函数为PCI设备分配最多max_vecs个中断向量。它返回分配的向量数量或负误差。如果设备对向量的最小数目有要求，驱动程序可以将min_vecs参数设置为该限制，如果PCI内核不能满足向量的最小数目，则返回-ENOSPC。

flags参数用于指定设备和驱动程序可以使用的中断类型(PCI_IRQ_LEGACY、PCI_IRQ_MSI、PCI_IRQ_MSIX)。还提供了一个方便的简写(PCI_IRQ_ALL_TYPES)，用于请求任何可能类型的中断。如果设置了PCI_IRQ_AFFINITY标志，pci_alloc_irq_vectors()将把中断分散到可用的cpu上。

为获得传递给request_irq()和free_irq()的Linux IRQ编号和向量，使用下面的函数:

int pci_irq_vector(struct pci_dev *dev, unsigned int nr);

在移除设备之前，应该使用以下函数释放所有已分配的资源:

void pci_free_irq_vectors(struct pci_dev *dev);

如果设备同时支持MSI-X和MSI功能，此API将优先使用MSI-X功能。MSI-X支持1到2048之间任意数量的中断。相比之下，MSI限制为最多32个中断(必须是2的幂)。此外，MSI中断向量必须连续分配，因此系统可能无法为MSI分配与为MSI-X分配相同数量的中断向量。在某些平台上，MSI中断必须针对同一组CPUs，而MSI-X中断可以针对不同的CPUs。

如果一个设备既不支持MSI-X也不支持MSI，它将退回到一个单一的传统IRQ向量。

MSI或MSI-X中断的典型用法是分配尽可能多的向量，可能达到设备支持的限制。如果nvec大于设备支持的向量数量，它将自动限制到支持的上限，因此无需事先查询支持的向量数量:

nvec = pci_alloc_irq_vectors(pdev, 1, nvec, PCI_IRQ_ALL_TYPES)
if (nvec < 0)
    goto out_err;

如果一个驱动程序不能或不愿意处理可变数目的MSI中断，它可以通过将该数目作为 min_vecs和max_vecs参数传递给pci_alloc_irq_vectors()函数来请求特定数目的中断:

ret = pci_alloc_irq_vectors(pdev, nvec, nvec, PCI_IRQ_ALL_TYPES);
if (ret < 0)
    goto out_err;

上面描述的请求类型的最臭名昭著的例子是为设备启用单一MSI模式。这可以通过传递两个1作为‘min_vecs’和‘max_vecs’来完成:

ret = pci_alloc_irq_vectors(pdev, 1, 1, PCI_IRQ_ALL_TYPES);
if (ret < 0)
    goto out_err;

某些设备可能不支持使用传统中断线路，在这种情况下，驱动程序可以指定只有MSI或者MSI-X类型的中断是可接受的：

nvec = pci_alloc_irq_vectors(pdev, 1, nvec, PCI_IRQ_MSI | PCI_IRQ_MSIX);
if (nvec < 0)
    goto out_err;

4.3 旧版APIs

以下旧API用于使能和禁用MSI或者MSI-X中断，不应再在新代码中使用：

  pci_enable_msi()		/* deprecated */
  pci_disable_msi()		/* deprecated */
  pci_enable_msix_range()	/* deprecated */
  pci_enable_msix_exact()	/* deprecated */
  pci_disable_msix()		/* deprecated */

此外，还有一些 API 可以提供支持的 MSI 或 MSI-X 向量的数量：pci_msi_vec_count() 和 pci_msix_vec_count()。一般来说，应该避免这些，而让 pci_alloc_irq_vectors() 限制向量的数量。如果您有合法的向量计数特殊用例，我们可能不得不重新审视该决定并添加一个透明处理 MSI 和 MSI-X 的 pci_nr_irq_vectors() 帮助程序。

4.4 使用MSIs的注意事项

4.4.1 自旋锁：

大多数设备驱动程序都有一个设备自旋锁，在中断处理程序中获取。对于基于引脚的中断或单个MSI，没有必要禁用中断(Linux保证不会重新进入相同的中断)。如果设备使用多个中断，驱动程序必须在锁保持期间禁用中断。如果设备发送不同的中断，驱动程序将死锁尝试递归地获取自旋锁。这样的死锁可以通过使用spin_lock_irqsave()或spin_lock_irq()来避免，spin_lock_irq()可以禁用本地中断并获得锁(请参阅Documentation/kernel-hacking/locking.rst)。

4.5 如何识别一个设备是否启用了MSI/MSI-X

使用'lspci -v'(作为root)可能会显示一些具有“MSI”、“Message Signalled Interrupts”或“MSI-X”功能的设备。这些功能都有一个'Enable'标志，后面跟着'+'(启用)或'-'(禁用)。

5. MSI的一些怪癖

已知多个 PCI 芯片组或设备不支持 MSI。PCI 堆栈提供了三种禁用 MSI 的方法：

1. 全局

2. 在特定网桥后面的所有设备上

3. 在单个设备上

5.1 全局禁用MSIs

一些主机芯片组根本不正确的支持MSIs。如果我们幸运的话，制造商知道这一点并在ACPI FADT表中指出。在这种情况下，Linux会自动禁用MSIs。有些电路板在表格中没有包括这些信息，因此我们必须自己检测它们。这些函数的完整列表可以在drivers/pci/quirks.c中的quirk_disable_all_msi()函数附近找到。

如果你的单板有MSIs问题，你可以在内核命令行上传递pci=nomsi，在所有设备上禁用MSIs。您最好将问题报告给linux-pci@vger.kernel.org，包括完整的'lspci -v'，这样我们就可以向内核添加怪癖。

5.2 在网桥下禁用 MSI

一些PCI桥接器不能正确地在总线之间路由MSIs。在这种情况下，必须在网桥后的所有设备上禁用MSIs。

有些桥接器允许您通过更改其PCI配置空间中的某些位来启用MSIs(特别是Hypertransport芯片组，如nVidia nForce和Serverworks HT2000)。与主机芯片组一样，Linux主要了解它们，并在可能的情况下自动启用MSIs。如果你有一个Linux不知道的网桥，你可以在配置空间中使用任何你知道可行的方法启用MSIs，然后在该网桥上启用MSIs:

echo 1 > /sys/bus/pci/devices/$bridge/msi_bus

其中$bridge是您启用的网桥的PCI地址(例如0000:00:00 .0)。

禁用MSIs, echo为0而不是1。更改此值时要谨慎，因为它可能中断对桥接器以下所有设备的中断处理。

再次提醒，如有需要特殊处理的桥梁，请通知linux-pci@vger.kernel.org。