针对PCIe link training做了分步解析,本文介绍原理,下一篇介绍波形分析,链接如下:
PCIe链路训练link training–举例波形分析
1. 链路训练基本概念
PCIe总线中的链路初始化与训练(Link Initialization & Training)是一种完全由硬件实现的功能,处于PCIe体系结构中的物理层。整个过程由链路训练状态机(Link Training and Status State Machine,LTSSM)自动完成,也就说基本没有数据链路层和事务层啥事。
LTSSM在PCIe体系结构中的位置的示意图如下:
在系统复位后,会自动进行链路训练,以达成以下目标:位锁定(Bit Lock)、字符锁定(Symbol Lock,Gen1 & Gen2 Only)、块锁定(Block Lock,Gen3 Only)、确定链路宽度(Link Width)、通道位置翻转(Lane Reversal)、信号极性翻转(Polarity Inversion)、确定链路的数据率(Data Rate)和通道对齐(Lane-to-Lane De-skew)等功能。
1.1 位锁定(Bit Lock)
前面的文章中提到过,PCIe总线采用了一种嵌入式时钟的机制,即发送端只向接收端发送数据信号,并不发送时钟信号(时钟信号隐藏在数据信号中)。接收端可以通过CDR(Clock and Data Recovery)逻辑将时钟从数据流中恢复出来,然后再用恢复出来的时钟对数据信号进行采样。当然,时钟恢复需要一定的时间,才能保证时钟信号与数据信号的相位对应关系符合要求。一旦CDR完成了时钟的恢复,我们就说PCIe总线完成了位锁定。
1.2 字符锁定(Symbol Lock)
完成了位锁定之后,只是能够准确地识别出数据流中的0和1,还是不知道发送的内容是个啥。对于Gen1&Gen2来说,采用的8b/10b编码,即传输的数据是以10bit为一个字符。LTSSM可以引导物理层相关逻辑通过识别COM(K28.5)等控制字符来确定每个字符的开始与结束为止,即字符锁定。
1.3 链路宽度(Link Width)
由于PCIe允许将x1的PCIe卡插入x4、x8甚至是x16的PCIe插槽中。因此在链路训练与初始化过程中,相邻的两个PCIe设备需要相互通信来确定其支持的最大链路宽度。
注:实际上PCIe Spec还允许采用动态带宽的机制,即允许链路宽度和数据率动态调整,以实现降低功耗等功能。
1.4 通道位置翻转(Lane Reversal)
有的时候两个PCIe设备的通道排列位置可能不太一致,PCIe Spec允许对默认的通道排列位置重新排列,如下图所示。但是,从大部分的PCIe设备(PCIe卡和插槽等)都是按照统一的标准实现的,一般不会出现这种情况,因此这一功能是可选的。
1.5 信号极性翻转(Polarity Inversion)
前面的文章中介绍过,PCIe收发的都是差分信号,有的时候Link两端的设备的对应信号的极性可能是相反的。因此,PCIe Spec允许在链路训练与初始化的时候,对其进行调整,如下图所示。和通道位置翻转(Lane Reversal)不一样的是,信号极性翻转(Polarity Inversion)并不是一个可选项,而是所有标准PCIe设备都应支持的。
1.6 链路的数据率(Data Rate)
系统刚复位的时候,链路训练和初始化都是基于2.5G T/s的速率的。如果Link两端的设备都支持更高的速率,则会自动进入Re-training状态,以重新切换速率。
注:PCIe Spec规定,高速率的PCIe设备必须能够向下兼容。即Gen2必须同时支持2.5G T/s和5G T/s。
1.7 通道对齐(Lane-to-Lane De-skew)
PCIe链路完成字符锁定后,还需要进行通道对齐。因为有的通道的信号可能先到达,有的可能后到达。PCIe Spec规定PCIe链路应有能力对一定范围了的Lane-to-Lane Skew进行移除,使得各个Lane上的信号是同步的。关于通道对齐,会在后续的博文中详细地介绍。
2. 通道使用字符序列
PCIe进行链路训练时要发送一些特殊的字符序列,这些序列也被称为PLP(Physical Layer Packet)物理层数据包。这些字符序列主要有:
TS1和TS2有序集
- TS1(training sequence 1)主要用于检测PCIe链路的配置信息。
- TS2用来确认TS1的检测结果。TS序列gen1、gen2和gen3的格式有所不同。
为了简化说明,我们以gen1、gen2格式来描述。 它们由16个symbol组成。
- 符号0(COM): K28.5字符标识了有序集的开始。接收器使用该字符来实现bit锁定和符号锁定,通过多通道链路上TS1和TS2有序集的同步传输上定位该字符,接收器既可以对通道进行相位补偿。
- 符号1(Link#): 交换TS1和TS2有序集时,该字段包含PAD符号(空符号传输)。在LTSSM的配置状态期间,该字段包含一个假定的链路号。从包含不同链路号的不同交换器端口驱动TS1和TS2有序集。
- 符号2(Lane#): 在初始阶段为PAD,在配置阶段为Lane number。
- 符号3(N_FTS): 包含快速定向序列号。从L0s退出到L0电源状态时,通过交换FTS有序集来实现bit锁定和符号锁定。
- 符号4(速率ID): 当前PCIe设备支持的数据传输速率。
- 符号5(定向控制): 第五个字符存放命令。
Bit0 ---- Hot reset Hot复位,
Bit1---- Disable Link链路禁用,
Bit2---- Loopback启动回环,
Bit3---- Disable Scrambling禁止加扰,
Bit4---- Compliance Receive。
符号6~15(定向序列ID): TS1有序集D10.2, TS2有序集为D5.2.
接收端收到序列以后会根据该字符的命令进行对应的操作。
- Idle 序列,当发送端进入Electrical Idle之前要向对端发送EIOS序列。出于Idle状态时PCIe链路使用的功耗最低。
- FTS(Fast training sequence)序列,由1个COM字符加上3个FTS字符组成,主要目的是使接收逻辑重新获得Bit/Symbol lock。
- SKIP序列,有1个COM加上3个SKP字符组成。主要用于时钟补偿。
3. 链路训练状态机
LTSSM有11个状态(其中又有多个子状态),分别是Detect、Polling、Configuration、Recovery,L0、L0s、L1、L2(L3是可选的)、Hot Reset、Loopback和Disable状态。系统进行复位操作(Cold, Hot or Warm Reset)后,会自动进入Detect状态。
这11个状态又可以被分为以下五个类别:
-
链路训练状态(Link Training State);
-
重训练状态(Re-Training(Recovery) State);
-
软件驱动功耗管理状态(Software Driven Power Management State);
-
活动状态功耗管理状态(Active-State Power Management State,ASPM State);
-
其他状态(Other State);
3.1 Detect状态
Detect状态:当PCIe链路被复位或者数据链路层通过寄存器操作会是的LTSSM进入该状态,在这个状态中,PCIe设备会去检测自己Link的另一端是否存在其他PCIe设备。换句话说,就是检测有没有其他的PCIe设备与其相连接。如果有就进入到Polling状态的过程。
3.2 Polling状态
Polling状态:
在该状态中,PCIe设备会依次发送TS1序列和TS2序列以实现以下目标:
-
位锁定(Bit Lock);
-
字符锁定(Symbol Lock);
-
信号极性翻转(Polarity Inversion),如果需要的话;
-
确定各个设备支持的速率(Data Rates)。
-
Polling.Active: 这是链路从Detect退出后进入的状态,在这个状态下,发送端需要在所有Lane至少发送1024个TS1序列,因为接收端需要通过接收到的TS1序列来实现Bit/Symbol Lock. 由于发送端和接收端不是同时退出Detect状态,所以,TS1序列交流可能不会同步。此时,链路出于Gen1(2.5GT/s), Symbol time=4ns(10b/2.5Gb/s), 发送1024个TS1序列(16 symbols)至少需要64us(1024164ns).
-
Polling.Configuration: 当发送端TX发送完至少1024个TS1并且接收端RX连续收到8个TS1或者TS2,此时TS1和TS2中的Link/Lane区域由PAD填充, 那么,链路进入Polling.Configuration状态。处于此状态,发送端停止发送TS1序列,改为发送TS2序列,此时Link/Lane区域仍然由PAD填充,这个过程也会完成极性反转的问题,为进入下一个状态作准备。
-
Polling.Compliance: 这个状态主要是通过发送不同的Pattern来测试发送端以及设备连接是否符合Spec要求。
3.3 Configuration状态
在该状态中,PCIe设备会依次发送TS1和TS2, 用来确定下面的条目:
-
确定链路宽度(Link Width);
-
分配通道(Lane)号;
-
通道位置翻转(Lane Reversal),如果需要的话;
-
通道对齐(Lane-to-Lane De-skew)。
该状态是LTSSM状态机最重要的状态,值得注意的是PCIe链路在进行初始化时,链路两端统一使用2.5GT/s的数据传送率,直到进入到L0状态。如下图,Configuration包含了6个子状态:
Configuration.LinkWidth.Start,Configuration.LinkWidth.Accpet,Configuration.Lanenum.Wait,
Configuration.Lanenum.Accpet,Configuration.Complete, Configuration.Idle.
3.4 L0状态
L0状态:它表示PCIe的链路进入正常工作状态,在这个状态下,PCIe链路可以正常的收发TLP、DLLP、PLP。 PCIe链路可以从该状态进入到Recovery 状态,以改变数据传送率。
3.5 Recovery状态
当PCIe链路需要重新训练时,进入Recovery状态。主要有以下几种情况:
- PCIe链路信号发现error,需要调整Bit Lock和Symbol Lock;
- 从L0s或者L1低功耗电源状态退出;
- Speed Change。因为第一次进入L0状态时,速率是2.5GT/s. 当需要进行速率调整5.0GT/s或者8.0GT/s时,需要进入Recovery状态进行Speed Change. 这个阶段,Bit Lock、Symbol Lock等都需要重新获取;
- 需要重新调整PCIe链路的Width;
- 软件触发retrain操作;
- 仅在Gen3和Gen4,需要重新进行Equalization。
我们结合一个上电过程中Gen1提速至Gen3的时序来解读一下Recovery状态的转换,如下图:
a. Downstream率先进入Recovery.RcvrLock状态, 之后向Upstream持续发送TS1并且将speed_change bit设置为1;
b. Upstream端看到TS1进来之后,也跟着进入Recovery.RcvrLock状态,同时回传TS1序列,不过此时,speed_change bit仍为0. 当Upstream接收达到连续8个TS1且speed_change bit设置为1,这时,Upsteam回传的TS1、TS2中speed_change bit设置为1,并告诉Downstream建议工作速率,接着进入Recovery.RcvrCfg状态;
c. Downstream收到Upstream建议的速率反馈之后,也返回TS2序列,并发送EIOS序列,准备进入Electrical Idle. 此时,LTSSM处于Recovery.RcvrCfg状态;
d. 之后,Downstream和Upstream相继进入Electrical Idle, LTSSM处于Recovery.Speed状态;
e. 经过一段时间timeout(Spec要求至少800ns, 小编这个Trace中是~8us),Upstream发送EIEOS, 退出Electrical Idle, 尝试跑最高速率8GT/s;
f. 接着Downstream也退出Electrical Idle, 尝试跑试跑最高速率8GT/s;
g. 最后,双方开始进行EQ。EQ之后,PCIe链路就可以回到正常工作状态。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
3.6 L0s状态
这是一种ASPM低功耗状态,退出到L0时延迟最短,设备可自动管理进出该状态,无需更高级软件的参与。
在总线空闲的时候可以进入该状态,且从该状态可以迅速地重新切换回L0状态。当在L0状态时,链路上出现EIOS时,则表明即将进入L0s状态。当在L0s状态时,链路上出现FTS时,链路会迅速地完成位锁定和符号锁定,并进入L0状态。
L0s发送器状态机如下图:
L0s 接收器状态机如下图:
3.7 L1状态
相对于L0s状态,L1状态下的功耗更低。进入L1状态需要链路两端的PCIe进行“沟通”,只有双方都“同意”进入该状态,链路才会进入该状态。一般有以下两种方式:
-
第一种是由ASPM引导,硬件自动完成的。发送端发现链路上长时间没有TLP或者DLLP时,便通过ASPM建议接收端进入L1状态。如果接收端“同意”了,则链路进入L1状态;如果接收端“不同意”,则链路进入L0s状态。
-
第二种是有软件引导的,软件发送一系列的命令让链路进入低功耗状态(D1,D2,or D3 Hot)。随后,链路的上端设备会通知下端设备进入L1状态,收到来自下端设备的应答后,链路进入L1状态。
如下图所示:
3.8 L2状态
L2状态下的链路功耗更低,因为其只保留了Vaux,关闭了链路的其他功能。此时,需要Beacon信号或者WAKE#边带信号来唤醒系统。其中Beacon信号是一种低频信号(30KHz~500MHz),其波形图如下图所示:
注:此外,还有一个L3状态,不过其实际上已经不属于LTSSM了。由于L3状态连Vaux都关闭了,一旦进入L3状态,实际上和直接关闭PCIe设备的电源没有什么太大的差别了。
3.9 Hot 复位状态
Hot复位是由软件所触发的带内传送的复位, 如下图描述了Hot 复位状态的进入和退出。
也可以通过设置Bridge Control寄存器offset 3Eh中的Secondary Bus Reset来触发Hot Reset.
Hot Reset触发之后,LTSSM会进入Recovery和Hot Reset状态,之后会到Detect状态,PCIe链路开始重新训练。
3.10 Disable禁用状态
状态中链路被禁止,此时发送端处于电气空闲状态(Electrical Idle State),而接收端处于低阻状态(Low Impedance State)。进入该状态的原因可能是链路连接不稳定,或者链路中的某个设备被移除,如PCIe卡从插槽中拔出。
用户可以通过设置修改Link Control寄存器,让PCIe链路出于Disabled状态。
当退出Disabled状态后,LTSSM回到Dectect,PCIe链路重新训练。
3.11Loopback回环状态
回环是一种测试和调试功能,并不用于正常运行中,将回环设备连接到设备的链路(处于回环状态中时,接受测试的设备是回环从设备),即可将链路和回环从设备置于回环状态,方法是发送已声明回环比特的TS1有序集,回环主设备作为内置测试引擎。
4. 与LTSSM相关的配置寄存器
4.1 链路功能寄存器
下图展示了链路功能寄存器Offset 0Ch:
最高链路速度(Maximum Link Speed)[3:0]:
该字段被硬连线为0001b, 表明其所支持的速度是第一代2.5Gbit/s
0001b Supported Link Speeds Vector field bit 0
0010b Supported Link Speeds Vector field bit 1
0011b Supported Link Speeds Vector field bit 2
0100b Supported Link Speeds Vector field bit 3
0101b Supported Link Speeds Vector field bit 4
0110b Supported Link Speeds Vector field bit 5
0111b Supported Link Speeds Vector field bit 6
最大链路宽度(Max Link Width)[9:4]:
该字段表明了PCI Express 链路的最大宽度。其值定义如下:
00 0000b:保留
00 0001b: x1
00 0010b: x2
00 0100b: x4
00 1000b: x8
00 1100b: x12
01 0000b: x16
10 0000b: x32
所有其他值均保留
该寄存器是硬连线的,或者在通过LTSSM的检测状态后由硬件自动更新,软件无法清楚或者写入各个bit。
4.2 链路状况寄存器
下图为链路功能寄存器Offset 12h:
链路速度(Link Speed)[3:0]:
该字段为只读,表明了PCI Express 链路已协商的链路速度,在LTSSM的轮询状态期间更新该字段,当前唯一定义的编码是0001b 表明链路速度为2.5Gbit/s。
协商链路宽度(Negotiate Link Width)[9:4]:
该字段表明了链路宽度协商结果,可能的宽度有七种,所有其他编码保留,已定义的编码有:
00 0001b: x1
00 0010b: x2
00 0100b: x4
00 1000b: x8
00 1100b: x12
01 0000b: x16
10 0000b: x32
所有其他值均保留
链路定向错误[10]:
出现链路定向错误时由硬件设置该bit, 链路已进入L0(活动)状态时即表明链路定向成功。此时硬件清除该bit, 仅在上游设备中支持该比特,如根联合体或交换器下游端口。
链路训练(Link Training)[11]:
这个只读位表示物理层LTSSM在配置或恢复状态,或说1b已写入Retrain Link位,但Link训练尚未开始。当LTSSM退出Configuration/Recovery状态时,硬件将清除此位。此位不适用于端点、PCI Express到PCI/PCI- x桥接和上行交换机的接口,必须硬连线到0b。
4.3 链路控制寄存器
链路控制寄存器Offset 10h , 如下图:
链路禁用(Link Disable)[4]:
设置为1,链路被禁用。写入该bit会导致设备发送16个声明有链路禁用bit的TS有序集。
重定向链路(Retrain Link):
该bit允许软件初始化链路重定向,这可用于错误恢复中,将其设置为1时, 在返回配置写入请求完成之前会使LTSSM进入恢复状态。
扩展同步(Extended Sync):
该bit用于在进入L0状态前,强制在L0s状态中发送4096个FTS(快速定向序列)有序集,然后在发送单个SKIP有序集,它还强制在进入恢复状态前发送1024个TS1有序集,该扩展同步允许外置工具监控链路时间,以便在链路进入L0或恢复状态并恢复正常的通信前实现比特和符号锁定。