【硬件相关】PCIe组件配置说明

已于 2022-05-28 19:51:35 修改
阅读量4.3k 收藏 10
点赞数
分类专栏： 硬件相关 文章标签： 服务器
于 2022-05-28 19:50:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Micha_Lu/article/details/125022151
版权

一、PCIe介绍

1、前言
1.1、PCIe概述

PCI Express（peripheral component interconnect express）是INTEL提出的新一代的总线接口，PCI Express采用了目前业内流行的点对点串行连接，比起PCI以及更早期的计算机总线的共享并行架构，每个设备都有自己的专用连接，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到PCI所不能提供的高带宽。
在这里插入图片描述

相对于传统PCI总线在单一时间周期内只能实现单向传输，PCI Express的双单工连接能提供更高的传输速率和质量。

1.2、PCIe分类
  • PCIe规格

目前PCIe有五种物理规格，分别为PCIe x1、PCIe x4、PCIe x8、PCIe x16、PCIe x32，x后面的数字表示为PCIe插槽内的通道数

详见示意图如下，目前主流规格主要为x1、x4、x8、x16，PCIe插槽可向下兼容，如PCIe x16插槽可插x8、x4、x1的卡（最终运行模式由PCIe卡决定，如PCIe x16插槽插入PCIe x4卡，最终以PCIe x4模式运行）
在这里插入图片描述

插槽宽度脚pin总数主接口区pin数长度传输通道数常见应用
PCIe x1361425mm1无线网卡、SATA扩展卡、USB端口扩展卡
PCIe x4644239mm4万兆以太网卡
PCIe x8987656mm8FC HBA卡
PCIe x1616414289mm16显卡、GPU卡
  • PCIe版本

目前PCIe有六种版本，分别为PCIe1.0、PCIe2.0、PCIe3.0、PCIe4.0、PCIe5.0、PCIe6.0，PCIe版本向后兼容，任何版本的PCIe卡和主板都可以以最低版本的模式工作（如PCIe 3.0卡插到PCIe 2.0槽位上，最终以PCIe 2.0版本运行）

详见示意图如下，列举了不同PCIe版本总线性能，PCIe每条传输通道均为全双工通道（SEND、RECEIVE两个方向互不影响，表中传输带宽表示为单方向的速率）

PCIe是一条串行总线，数据中嵌入了时钟，它需要确保发生足够的电平转换（1到0和0到1），以便接收端恢复时钟。
为了增加电平转换，以"8b/10b"编码举例，每8个bit（1个字节）被编码为一个10bit的符号进行传输，之后在接收端进行解码，即总线需要传输10 bit的编码数据来表示所发送的8 bit的数据，编码效率为80%（8b/10b）

               （ 原始传输率 x Line编码效率 x 通道数 ）
有效传输带宽 =   ------------------------------------
                               8
注：
GT/s表示为每秒千兆传输（**Gigatransfer**），由于原始传输率为Gbps（二进制以1000换算，即2.5Gbps=2500Mbps），故需要除以8换算为GBps
PCIe版本发布时间Line编码原始传输率×1带宽×2带宽×4带宽×8带宽×16带宽
1.020038b/10b2.5 GT/s250 MB/s0.50 GB/s1.0 GB/s2.0 GB/s4.0 GB/s
2.020078b/10b5.0 GT/s500 MB/s1.0 GB/s2.0 GB/s4.0 GB/s8.0 GB/s
3.02010128b/130b8.0 GT/s984.6 MB/s1.97 GB/s3.94 GB/s7.88 GB/s15.8 GB/s
4.02017128b/130b16.0 GT/s1969 MB/s3.94 GB/s7.88 GB/s15.75 GB/s31.5 GB/s
5.02019NRZ 128b/130b32.0 GT/s3938 MB/s7.88 GB/s15.75 GB/s31.51 GB/s63.0 GB/s
6.02021PAM4 & FEC 128b/130b64.0 GT/s7877 MB/s15.75 GB/s31.51 GB/s63.02 GB/s126.03 GB/s
1.3、常见问题
  • 同一个主板，同一张卡，插在PCIe A上可以正常使用，而在PCIe B却无法识别？
    此问题常出现在双路主板上，主板的PCIe接口分别由两个CPU控制。如果只上了一个CPU，那么另外一个CPU控制的PCIe通道是不通电的，自然不能识别。
1.4、常用命令
  • 查看服务器PCI-E插槽个数及使用情况：dmidecode | grep -1 PCI
    注：可使用PCIe扩展卡扩充PCIe插槽
[root@node111 ~]# dmidecode | grep -1 PCI
        ISA is supported
        PCI is supported
        PNP is supported
--
System Slot Information
    Designation: PCIe Slot 1
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 2
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 3
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 4
    Type: x8 PCI Express 3 x16
    Current Usage: In Use
--
System Slot Information
    Designation: PCIe Slot 5
    Type: x8 PCI Express 3 x16
    Current Usage: In Use
--
System Slot Information
    Designation: PCIe Slot 6
    Type: x16 PCI Express 3
    Current Usage: Available

二、PCIe应用

1、HBA卡

HBA，即主机总线适配器（Host Bus Adapter），是服务器内部的I/O通道与存储系统的I/O通道之间的物理连接，实现内部通道协议PCI或Sbus和光纤通道协议之间的转换，减轻了主处理器在数据存储和检索任务的负担，提高服务器的性能。

HBA卡可以将服务器连接至存储网络（如SAN存储），常见的HBA卡有FC-HBA卡（16Gb/s）、SAS-HBA卡（12Gb/s）两种

1.1、FC HBA卡
1.1.1、品牌厂商

FC HBA卡常见的品牌厂商主要为Emulex、Qlogic

  • Emulex
    可通过lspci | grep Fibre查询服务器当前使用FC HBA卡，若品牌为Emulex，通常驱动模块为lpfc
[root@node85 ~]# lspci | grep Fibre
62:00.0 Fibre Channel: Emulex Corporation LightPulse LPe16002 (rev 30)
62:00.1 Fibre Channel: Emulex Corporation LightPulse LPe16002 (rev 30)
[root@node85 ~]# 
[root@node85 ~]# modinfo lpfc
filename:       /lib/modules/4.14.113-1.el7.x86_64/kernel/drivers/scsi/lpfc/lpfc.ko.xz
version:        0:11.4.0.3
author:         Broadcom
description:    Emulex LightPulse Fibre Channel SCSI driver 11.4.0.3
license:        GPL
srcversion:     9B519AD74B0149A85A5638D
  • Qlogic
    可通过lspci | grep Fibre查询服务器当前使用FC HBA卡，若品牌为Qlogic，通常驱动模块为qla2xxx
1.1.2、常用操作
  • 查看FC本地（通常为服务器FC HBA卡）WWN号：cat /sys/class/fc_host/host{x}/port_name
    注：如FC HBA卡配置两个FC口，则存在两个WWN号
[root@node85 ~]# cat /sys/class/fc_host/host11/port_name 
0x10000090fadc39ac
[root@node85 ~]# cat /sys/class/fc_host/host13/port_name 
0x10000090fadc39ad
  • 查看FC远端（通常为FCSAN存储）WWN号：cat /sys/class/fc_remote_ports/rport-{x}/port_name
[root@node85 ~]# cat /sys/class/fc_remote_ports/rport-11\:0-0/port_name 
0x277000c0fff0b1d3
[root@node85 ~]# cat /sys/class/fc_remote_ports/rport-13\:0-0/port_name 
0x237000c0fff0b1d3

  • 扫描FC本地新SCSI磁盘：rescan-scsi-bus.sh

  • 查看FC本地SCSI连接情况：lsscsi

[root@node85 ~]# lsscsi 
[3:0:0:0]    enclosu SEAGATE  4565             G280  -        
[3:0:1:0]    enclosu SEAGATE  4565             G280  -        
[3:0:2:0]    enclosu BROADCOM VirtualSES       03    -        
[11:0:0:0]   enclosu SEAGATE  5865             G280  -        
[11:0:0:11]  disk    SEAGATE  5865             G280  /dev/sdb 
[11:0:0:15]  disk    SEAGATE  5865             G280  /dev/sdd 
[11:0:0:19]  disk    SEAGATE  5865             G280  /dev/sdf 
[11:0:0:23]  disk    SEAGATE  5865             G280  /dev/sdh 
[11:0:0:27]  disk    SEAGATE  5865             G280  /dev/sdj 
[11:0:0:31]  disk    SEAGATE  5865             G280  /dev/sdl 
[11:0:0:35]  disk    SEAGATE  5865             G280  /dev/sdn 
[11:0:0:39]  disk    SEAGATE  5865             G280  /dev/sdp 
[12:0:0:0]   disk    ATA      INTEL SSDSC2KB24 0132  -        
[12:0:1:0]   disk    ATA      INTEL SSDSC2KB24 0132  -        
[12:1:0:0]   disk    LSI      Logical Volume   3000  /dev/sda 
[13:0:0:0]   enclosu SEAGATE  5865             G280  -        
[13:0:0:12]  disk    SEAGATE  5865             G280  /dev/sdc 
[13:0:0:16]  disk    SEAGATE  5865             G280  /dev/sde 
[13:0:0:20]  disk    SEAGATE  5865             G280  /dev/sdg 
[13:0:0:24]  disk    SEAGATE  5865             G280  /dev/sdi 
[13:0:0:28]  disk    SEAGATE  5865             G280  /dev/sdk 
[13:0:0:32]  disk    SEAGATE  5865             G280  /dev/sdm 
[13:0:0:36]  disk    SEAGATE  5865             G280  /dev/sdo 
[13:0:0:40]  disk    SEAGATE  5865             G280  /dev/sdq
1.2、SAS HBA卡
1.2.1、品牌厂商

SAS HBA卡常见的品牌厂商主要为LSI、Adaptec、Areca、ATTO

Luxf0
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
pcie-aer 使用说明，中文版本
08-28
pcie-aer 使用说明，中文版本，AER相关内容可以参看
PCIE IP配置空间寄存器访问说明
03-08
PCIE技术文档,描述了PCIE配置空间寄存器的访问方法。PCIE技术文档,描述了PCIE配置空间寄存器的访问方法。
剖析PCIE协议 —— 1.1 PCIE是什么？
phmatthaus的专栏
02-23 450
剖析PCIE协议 —— 1.1 PCIE是什么？
EMULEX系列HBA卡固件升级包
12-24
此固件适用于以下型号：LPe15000/LPe15002/LPe16000/LPe16002/ LPe31000/ LPe31002/ LPe32000/ LPe32002/LPE1200/LPE1205，此固件为目前最新固件，升级后可完美兼容目前最新Intel C622系列芯片组服务器等全系列型号。更新方法很简单，在系统内双击exe可执行文件即可更新完成。
1.2 PCIe——PCIe电气特征
知识，既贵，又便宜。
05-23 2970
PCIe的板级电气特征
pcie m.2固态硬盘装机后无法识别到启动盘
热门推荐
一个懒鬼的博客
05-01 1万+
原因：使用m.2固态硬盘的电脑，最好安装iwn8.1以上的系统，因为win7系统及其win xp系统 没有自带NVME驱动。搞定办法：比较简单的方式就是直接开运行快启动u盘启动盘制作工具将系统升级到win10系统，就能够自动将其识别出来。
PCIE SPEC 4.0 规格书
12-06
PCIE SPEC 4.0 规格书
PowerPC的PCI总线的dts配置【转】
liuqiang_mail的专栏
08-21 985
powerpc使用称为FDT 扁平设备描述树的机制传递给内核硬件配置参数，从而引导内核。 这样的优势是PowerPC在Linux上的移植基本上都是对dts文件的修改，而升级内核的工作量远远小于其他cpu体系结构。 只是目前介绍FDT或者OPEN Firmware的中文资料欠缺，这里记录我领悟的关于PCI总线树部分的ranges参数。 pci0: pci@e0008500 {interrupt-
PCIe设备的配置过程
jia_weihui的博客
02-02 2309
在软件的角度，我们先关注事务层(Transaction Layer)，在事务层传输TLP(Transaction Layer Packet，事务层包)。在这样一个速食的时代，坚持做自己，慢下来，潜心琢磨，心怀敬畏，领悟知识，才能向下扎到根，向上捅破天，背着世界往前行！如果要配置的设备，就在当前总线上，即目标设备的Bus号等于当前桥的Secondary Bus Number，
RK3399平台开发系列讲解（PCI/PCI-E）PCIE相关配置说明
内核笔记
04-19 1652
📢 本篇将介绍在使用 RK3399 平台 PCIE 时候的配置。
PCIe配置空间
wmzjzwlzs的专栏
04-07 6379
转自：https://www.csdn.net/tags/OtTagg4sOTkyODYtYmxvZwO0O0OO0O0O.html PCIe概述 PCI Express，是计算机总线PCI的一种，它沿用现有的PCI编程概念及通信标准，但建基于更快的串行通信系统。 PCIE总线使用的是高速差分总线，并采用端到端的连接方式， 现在的高速总线基本上都是串行总线，这样可以使用更高的时钟频率。 当前pcie协议支持到5.0版本，不同PCIe版本对应的传输速率如下： PCIe 版本 编码 传输.
深入PCI与PCIe：硬件篇和软件篇.pdf
10-31
PCI总线和设备树是X86硬件体系内很重要的组成部分，几乎所有的外围硬件都以这样或那样的形式连接到PCI设备树上。虽然Intel为了方便各种IP的接入而提出IOSF总线，但是其主体接口(primary interface)还依然是PCIe形式
使用Vivado对PCIe IP配置的详细步骤
04-16
使用Vivado对PCIe IP配置的详细步骤，图文解说。。。。
Quartus18.1-PCIE-x4配置.pdf
09-01
大多数使用Intel FPGA 做开发的同学都用...生了变化，在这里我给大家通过用18.1 版本配置PCIE 来讲解一下新版本的基 本使用，由于个人能力有限，可能会有一些错误，欢迎大家指正，话不多说，咱 们现在开始今天的课程。
Linux下软硬链接和动静态库制作详解
m0_62537611的博客
04-27 788
软硬链接有什么本质区别：有没有独立的inode软链接有独立的inode，所以软链接是一个独立的文件硬链接没有独立的inode，所以硬链接不是一个独立的文件软链接就相当于你在windows下给一个应用创建了一个快捷方式。
Linux网络编程---多进/线程并发服务器
qq_51647149的博客
04-25 706
多进程并发服务器及多线程并发服务器的实现
服务器数据恢复—存储硬盘坏道，指示灯亮黄色的数据恢复案例
beiya123的博客
04-25 400
一台某品牌EqualLogic PS系列某型号存储，存储中有一组由16块SAS硬盘组建的RAID5磁盘阵列，RAID5上划分VMFS文件系统存放虚拟机文件。存储系统上层一共分了4个卷。 raid5阵列中磁盘出现故障，有2块硬盘的指示灯显示黄色，存储不可用，存储设备已经过保，用户方联系我们数据恢复中心要求恢复存储中的数据。
服务器硬件：裸金属安装 VMware ESXi
最新发布
山河已无恙
04-27 394
工作中遇到，简单整理博文内容涉及 裸金属安装VMware ESXi 基本步骤理解不足小伙伴帮忙指正不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了。——村上春树。
企业计算机服务器中了rmallox勒索病毒怎么办？Rmallox勒索病毒解密流程工具
M99W1230的博客
04-26 495
在网络飞速发展的时代，企业离不开网络，网络为企业的生产运营提供了极大便利，加快了企业进步的步伐，依靠网络可以开展各项工作业务，通过网络数据整合，可以更方便企业办公。Rmallox勒索病毒属于mallox勒索家族，属于早期的勒索病毒，随着网络技术的不断发展，mallox勒索病毒做过多次升级调整，而rmallox勒索病毒是近期新升级的勒索病毒，具有较强的攻击与加密能力，一旦被攻击很难自行破解恢复，经过云天数据恢复中心对rmallox勒索病毒的解密处理，为大家整理了以下有关该勒索病毒的相关信息。
pci与pcie学习 硬件
07-09
### 回答1： PCI（Peripheral Component Interconnect，外围组件互联）和PCIe（Peripheral Component Interconnect Express，外围组件互联快速）都是现代计算机中常见的硬件接口标准。 PCI是早期的硬件接口标准，广泛应用于早期的个人计算机和服务器中。它为计算机提供了扩展插槽，可以通过插入各种不同的卡来添加额外的功能，如显卡、声卡、网络卡等。PCI接口的数据传输速度相对较低，最高可达到133MB/s，且每个插槽需要共享带宽。 PCIe是PCI的升级版本，它是一种更快、更高带宽的接口标准。与PCI相比，PCIe支持更高的数据传输速度，最高可达到16GB/s，也提供更大的带宽和更好的性能。PCIe接口通过将数据传输通道划分为多个独立的通道，不同设备之间的数据传输不会相互干扰，这样可以更好地支持多设备同时工作。 PCI和PCIe都有各自的插槽类型，如PCI插槽和PCIe插槽，它们在物理尺寸和接口形状上有所不同，因此不能互相兼容。PCIe插槽通常比PCI插槽更小，用于支持更高速率的数据传输。 学习PCI和PCIe可以帮助我们了解计算机硬件的发展和演变。在选择和安装硬件设备时，了解PCI和PCIe的特性和性能参数可以帮助我们根据需求选择合适的接口和设备。此外，理解PCIe的工作原理和配置可以帮助我们更好地优化计算机性能和解决硬件兼容性问题。 综上所述，PCI和PCIe是计算机硬件接口标准，PCIe是对PCI的升级和改进，提供更高的带宽和性能。学习PCI和PCIe可以帮助我们更好地理解计算机硬件，并在硬件选择和配置时做出合适的决策。 ### 回答2： PCI和PCIe是计算机硬件中常用的总线接口标准。PCI（Peripheral Component Interconnect）是一种用于连接计算机内部扩展卡的接口规范，它通过插槽连接到主板上，可以连接各种设备，如显卡、声卡、网卡等。PCI接口的带宽以32位为基本单位，理论上最高可达133MB/s。PCI接口的优点是使用广泛，兼容性好，适用于较老的计算机系统。 而PCIe（PCI Express）是PCI的更新版本，它是一种高速、高性能的串行总线接口。PCIe接口通过槽口插槽连接到主板上，可以提供更高的带宽和更快的数据传输速率，适用于更高性能的设备。PCIe接口可以分为不同的版本，如PCIe 1.0、PCIe 2.0、PCIe 3.0等，每个版本的带宽和速度不同。此外，PCIe还支持热插拔功能，可以在不关闭电脑的情况下更换扩展卡。 随着技术的发展，PCIe逐渐取代了PCI接口成为主流标准，因为它拥有更高的带宽和更好的性能，适用于现代计算机系统和高性能设备。但是对于较老的计算机系统或者不需要太高性能的设备，PCI接口仍然有其使用价值。 综上所述，PCI和PCIe是计算机硬件中的两种常用接口标准，PCI适用于较老的计算机系统和一些不需要高性能的设备，而PCIe则适用于现代计算机系统和需要更高带宽和性能的设备。 ### 回答3： PCI（Peripheral Component Interconnect，外围设备互连）和PCIe（Peripheral Component Interconnect Express，外围设备互连快速通道）都是计算机硬件中重要的总线标准。 PCI是一种较早的总线标准，旨在为计算机主板上安装的各种外围设备提供传输数据的通道。它使用并行数据传输方式，定义了总线带宽和插槽规范，支持多个设备之间的数据传输。PCI总线采用了统一的插槽设计，使得各种不同类型的设备可以在同一个主板上自由插拔。然而，由于传输速度和带宽的限制，PCI总线已逐渐被更高速和更强大的PCI-Express取代。 PCIe是PCI的后继者，是一种更快的、高性能的总线标准。它基于串行数据传输技术，可以提供更高的传输速度和更大的带宽。PCIe总线拥有更多的数据通道，可以同时传输多个数据流，提高了系统吞吐量。与PCI相比，PCIe支持热插拔设备，可以在不关机的情况下插拨设备。PCIe总线也具有向后兼容性，可以在PCIe插槽上插入PCI设备，但性能会受到限制。 在学习PCI和PCIe时，我们需要了解它们的工作原理、传输速度和带宽的差异、插槽规范以及设备兼容性等方面的知识。了解这些内容可以帮助我们选择适合自己需求的硬件设备，并且在组装和配置计算机时能够正确安装和连接各种外围设备。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值