iommu

发个链接，这个是intel的iommu的spec 
http://download.intel.com/technology/computing/vptech/Intel(r)_VT_for_Direct_IO.pdf 

心情愉快，大概讲一下IOMMU是个啥东西。:mrgreen: 注意我说的IOMMU是指位于北桥上的IOMMU,那种设备自带IOMMU的情况我还不了解。 
在没有IOMMU的情况下，设备（指32bit或64bit设备，老的16bit的不提）的DMA操作可以访问整个物理地址空间，所以理论上设备可以向操作系统的代码段、数据段等内存区域做DMA，从而破坏整个系统。当然，通常来说不会有这样的设备。IOMMU的出现，可以实现地址空间上的隔离，使设备只能访问规定的内存区域。下面简要说一下intel的IOMMU怎么做到这点的： 
目前PC架构最多有256PCI总线，于是IOMMU用一个称为root entry的数据结构描述PCI总线，总共256个root entry构成一张表。每条PCI总线最多允许256个设备，IOMMU用context entry描述一个PCI设备（或者是PCI桥），256个context entry构成一张表。所以就有了如图的关系。我们知道，PCI设备用 {BUS:DEV:FUNC}（当然，还有个segment，不过似乎PC架构都只有一个segment，这个暂时忽略）描述一个设备。所以对于一个特定设备，用bus号做索引root entry表，用dev号索引context entry表可以找到描述该设备的的context entry。context entry中有一个指针指向一章I/O页表，当设备发起DMA操作时，IOMMU会根据该页表把设备的DMA地址转换成该设备可以访问内存区域的地址。 
所以只要为设备建一张I/O页表，就可以使设备只能访问规定的内存区域了。当然，也可以把该页表当成跳板，让只能寻址32bit地址空间的设备访问到64bit地址空间中去。 

大概就是这么回事了，似乎写的有点乱，具体问题看spec

随着虚拟化技术逐渐升温，Intel和AMD近来支持了IOMMU技术。而Solaris对IOMMU技术在SPARC平台上的支持则可能要追溯到它们诞生的时候了。Solaris去年已经支持了x86平台上的IOMMU。

早期Solaris在SPARC平台上对IOMMU的支持主要有两个原因，一个是对老设备的支持，另外一个是对scatter/gather的支持。要在64位系统上支持32位设备，比如说网卡，如果没有IOMMU，就需要在物理内存底端，也就是32位设备能够访问到的地方设置一个叫做"bounce buffers"的东西，如果设备要访问高端内存，操作系统就要在高端内存和"bounce buffers"之间做一个拷贝。带来的性能影响显而易见。如果有了IOMMU，这个问题就迎刃而解了。在设备驱动做DMA邦定的时候，系统返回给驱动的不再是物理地址，而是内核空间的某个地址（有的书上叫做总线地址），传输的时候，这个内核空间地址会经由IOMMU单元，IOMMU将这个地址转换为物理地址。scatter/gather并不会带来性能上的好处，但是会简化设备驱动程序。例如网卡驱动在发送包的时候，DMA邦定后，系统可能会返回给设备驱动多个不连续的物理地址，Solaris叫做cookie。这样的话，每一个cookie都需要占用一个发送描述符。如果系统支持IOMMU的话，系统只会返回给设备驱动一个cookie。当然了有专家提醒，因为这个原因，如果设备驱动是在没有IOMMU的情况下开发的，在支持IOMMU的系统上是没有问题的。但反之不然。

x86平台上的IOMMU除了上述功能外还加入了对虚拟化的支持。简单来说有两个功能，一个DMA Remapping, 两外一个是Interrupt Remapping。DMA Remapping采用了多级页表机制，和MMU差不多。不过在转换前，IOMMU可以通过发出转换请求的PCI设备的Bus/Device/Function号来判断该设备是不是属于某一个domain。我们知道，有MMU，必定有TLB。所以有IOMMU，也肯定会有IOTLB。由于IOTLB的特殊性(TLB只服务于CPU，并且同时只有一个线程访问。而IOTLB则会有多个I/O设备同时访问)，PCI Express最近有一个草案，叫做ATS(Address Translation Services)。主要思想就是为了加快转换，避免集中式的IOTLB带来性能上的影响，在每个PCI Express设备中加入转换用的cache。具体细节可以参考PCI-SIG上的文档。对于后者，根据Solaris PSARC文档知道Solaris当前并没有实现。对于MSI/MSI-X来说，中断是由对特定地址的内存写来完成的。其中的address/data已将中断所需的信息告诉给了Root Complex，例如中断向量号，中断类型等等。Interrupt Remapping修改了data中的信息，现在data中只保存一个类似索引一样的东西，用来在Interrupt Remapping Table中寻址的。找到了对应IRTE(Interrupt Remapping Table Entry)，也就找到了中断所需的信息。当然了有硬件table，就有cache。