linux 6.10.0 CXL/pci.c 详解

最新推荐文章于 2024-08-06 20:43:43 发布
最新推荐文章于 2024-08-06 20:43:43 发布
阅读量347 收藏 5
点赞数 7
分类专栏： CXL 文章标签： linux CXL driver Memory
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014443578/article/details/140955443
版权

文章目录

前言

CXL 是一个比较新的技术，内核版本迭代太快，跟不上节奏，固定一个版本是不行了。

在阅读之前，希望读者能有一定的 PCIe/CXL 基础知识，精力有限，不能把所有知识点都能说的很详细，需要一定的基础才能理解，同时，希望在学习的过程中，手边能有 PCIe Spec 以及 CXL 2.0 /3.1 Spec，以便随时查看，当然，我也会尽量把重点的部分截图在博文中。

最后，如果有问题请留言讨论。

Ref

《PCI_Express_Base_5.0r1.0》
《CXL Specification_rev2p0_ver1p0_2020Oct26》
《CXL-3.1-Specification》

正文

Path: linux/drivers/cxl/pci.c

1. id_table 定义

static const struct pci_device_id cxl_mem_pci_tbl[] = {
	/* PCI class code for CXL.mem Type-3 Devices */
	{ PCI_DEVICE_CLASS((PCI_CLASS_MEMORY_CXL << 8 | CXL_MEMORY_PROGIF), ~0)},
	{ /* terminate list */ },

#define PCI_CLASS_MEMORY_CXL		0x0502
#define CXL_MEMORY_PROGIF	0x10
};

2. id匹配，调用 probe 函数

static int cxl_pci_probe(struct pci_dev *pdev, const struct pci_device_id *id)
{
	struct pci_host_bridge *host_bridge = pci_find_host_bridge(pdev->bus);
	struct cxl_memdev_state *mds;
    // CXL 设备
	struct cxl_dev_state *cxlds;
	struct cxl_register_map map;
    // CXL memory 设备
	struct cxl_memdev *cxlmd;
	int i, rc, pmu_count;
	bool irq_avail;

	/*
	 * Double check the anonymous union trickery in struct cxl_regs
	 * FIXME switch to struct_group()
	 */
	BUILD_BUG_ON(offsetof(struct cxl_regs, memdev) !=
		     offsetof(struct cxl_regs, device_regs.memdev));

	rc = pcim_enable_device(pdev);
    // pcim_enable_device 使能设备
    // pcim 是托管版本，自动调用 pci_disable_device
    // 1. 设置设备电源状态 Set the power state of a PCI device to D0
    // 2. 如果设备连接桥，配置桥
    // 3. 通过设置PCIE设备的 Command register 1:0 使能设备资源，IO或者MEM
    // 4. 如果 MSI/MSIx 都没有使能，Command register 寄存器禁止了 interrupt pin, 那么解除禁止
	if (rc)
		return rc;
	pci_set_master(pdev);
    // pci_set_master 使能给定 PCI 设备的 Bus Mastering 功能。Bus Mastering 是一种允许连接到总线的设备（如 PCI 设备）直接访问系统内存，无需通过 CPU 的机制
    // 1. 设置 command register 寄存器的 Bus Master Enable
    // 2. Call pcibios_set_master 设置设备 Latency Timer Register(0xd) 寄存器
    //    做一些体系结构特定的总线主控设置的。它检查并可能会调整PCI设备的延迟定时器值以避免PCI总线拥塞。
	mds = cxl_memdev_state_create(&pdev->dev);
    // Call core.mbox.c 
    // 申请并初始化  cxl_memdev_state *mds
	if (IS_ERR(mds))
		return PTR_ERR(mds);
	cxlds = &mds->cxlds;
	pci_set_drvdata(pdev, cxlds);
    // 为设备保存驱动资源 cxlds
    // dev->driver_data = data  -> pdev->dev->driver_data = cxlds

	cxlds->rcd = is_cxl_restricted(pdev);
    // pdev->dev 缓存的有设备 PCIe Capabilities Register 的16bit值
    // PCI Express Capabilities Register (Offset 02h) bit 7:4 表示设备的类型，1001b 为 RCiEP
    // Assume that any RCIEP that emits the CXL memory expander class code is an RCD

	cxlds->serial = pci_get_dsn(pdev);
    // 获取设备的序列号, 64bit
    // PCIe 6.0r 7.9.3 Device Serial Number Extended Capability
    // PCI Express Extended Capability ID 0003h

    
	cxlds->cxl_dvsec = pci_find_dvsec_capability(
		pdev, PCI_VENDOR_ID_CXL, CXL_DVSEC_PCIE_DEVICE);
    // pci_find_dvsec_capability 获取PCIE 的DVSEC寄存器偏移， 其他地方介绍此函数
    // #define PCI_VENDOR_ID_CXL		0x1e98
    // #define CXL_DVSEC_PCIE_DEVICE	0
    // DVSEC 其实就是一组特殊的 PCIe capability register, vendor 为 0x1e98
    // CXL 2.0r Table 124 CXL DVSEC ID Assignment DVSEC ID 表
    //          8.1.3 PCIe DVSEC for CXL Device
    // 这个寄存器主要是CXL设备的一些控制状态和内存大小的信息
	if (!cxlds->cxl_dvsec)
		dev_warn(&pdev->dev,
			 "Device DVSEC not present, skip CXL.mem init\n");

	rc = cxl_pci_setup_regs(pdev, CXL_REGLOC_RBI_MEMDEV, &map);
    // CXL_REGLOC_RBI_MEMDEV == 3
    // 通过 Table 124 CXL DVSEC ID Assignment DVSEC ID 表可知 Register Locator DVSEC 为 8
    // Register Locator DVSEC 指示寄存器块的类型和位置
    // CXL_REGLOC_RBI_MEMDEV 表示CXL内存扩展设备寄存器，在 CXL 2.0r 8.1.9.1 Register Offset Low 15:8 定义
    // Register Locator DVSEC 布局是 0xc 字节的头 + (n * 8) n是寄存器块的个数
    // 遍历寄存器块并根据第二个参数 CXL_REGLOC_RBI_MEMDEV 去匹配
    // 同时，对map进行赋值，可获取寄存器块的类型、在哪个BAR空间以及偏移位置、寄存器块最大值
    // 对于 CXL1.1设备，componenet 寄存器不在bar空间中，需要在RCRB中寻找
    // 对寻找的寄存器块地址映射到虚拟空间 map->base 虚拟首地址, 映射大小到所在 bar 末尾
    // 映射完毕之后，cxl_probe_regs() 对不同的寄存器块类型进行解析， map 中有一个 union, 对其进行赋值
    // 该函数在其他地方解析
    // 对于 CXL_REGLOC_RBI_MEMDEV 获取 CXL memory device 的相关必须实现的寄存器，如 Device Status Registers， Primary Mailbox Registers 等
    // cxl_pci_setup_regs 填充了 map 的以下字段
    // struct cxl_register_map {
    //     struct device *host;   CXL 设备对象
    //     void __iomem *base;    寄存器块映射的虚拟首地址
    //     resource_size_t resource;  寄存器块的物理首地址
    //     resource_size_t max_size;  寄存器块的最大大小，到 bar 空间尾部
    //     u8 reg_type;        寄存器块的类型 CXL_REGLOC_RBI_MEMDEV
    //     union {
    //         struct cxl_component_reg_map component_map;
    //         struct cxl_device_reg_map device_map;    填充相应的寄存器信息， Device Status Registers， Primary Mailbox Registers 地址和大小
    //         struct cxl_pmu_reg_map pmu_map;
    //     };
    // };
	if (rc)
		return rc;
	
	rc = cxl_map_device_regs(&map, &cxlds->regs.device_regs);
    // 对获取的 map->device_map 的 status 、mbox 、memdev进行映射，获取虚拟地址空间，保存在 cxlds->regs.device_regs 的三个地址中 *status, *mbox, *memdev
	if (rc)
		return rc;
	
	/*
	 * If the component registers can't be found, the cxl_pci driver may
	 * still be useful for management functions so don't return an error.
	 */
	rc = cxl_pci_setup_regs(pdev, CXL_REGLOC_RBI_COMPONENT,
				&cxlds->reg_map);
    // 获取 Component Registers 的地址和大小
	if (rc)
		dev_warn(&pdev->dev, "No component registers (%d)\n", rc);
	else if (!cxlds->reg_map.component_map.ras.valid)
		dev_dbg(&pdev->dev, "RAS registers not found\n");
	
	rc = cxl_map_component_regs(&cxlds->reg_map, &cxlds->regs.component,
				    BIT(CXL_CM_CAP_CAP_ID_RAS));
    // 同上，映射 map->component_map 的 hdm_decoder 和 ras，获取虚拟地址
    // 第三个参数表示选择映射哪一个
	if (rc)
		dev_dbg(&pdev->dev, "Failed to map RAS capability.\n");
	
	rc = cxl_await_media_ready(cxlds);
    // 检查相应寄存器，内存是否准备好
	if (rc == 0)
		cxlds->media_ready = true;
	else
		dev_warn(&pdev->dev, "Media not active (%d)\n", rc);

	irq_avail = cxl_alloc_irq_vectors(pdev);
    // 申请 MSI/MSI-X 中断， 1 - 16 个， 每个 function 一个

	rc = cxl_pci_setup_mailbox(mds, irq_avail);
    // 检查邮箱是否准备好，获取邮箱的负载大小，添加发送函数，注册邮箱接收中断函数
	if (rc)
		return rc;

	rc = cxl_enumerate_cmds(mds);
    // 通过CEL 获取支持的命令，并置相关位记录一下是否使能
	if (rc)
		return rc;

	rc = cxl_set_timestamp(mds);
    // 发送 CXL_MBOX_OP_SET_TIMESTAMP 命令设置时间戳
    // CXL_MBOX_OP_SET_TIMESTAMP	= 0x0301
    // 获取当前系统时间，设置给设备
	if (rc)
		return rc;
	
	rc = cxl_poison_state_init(mds);
    // 如果使能了 CXL_POISON_ENABLED_LIST
    // 初始化锁与分配  mds->poison.list_out 缓冲区
	if (rc)
		return rc;

	rc = cxl_dev_state_identify(mds);
    // 发送 CXL_MBOX_OP_IDENTIFY 命令，返回CXL内存设备的基础信息
    // CXL 3.1r 8.2.9.9.1 Identify Memory Device
    // 获取设备的 mds->total_bytes, volatile_only_bytes, persistent_only_bytes, partition_align_bytes, lsa_size, firmware_version
    // mds->poison.max_errors
	if (rc)
		return rc;

	rc = cxl_mem_create_range_info(mds);
    // 利用上述获取的信息，创建内存资源信息
    // mds->partition_align_bytes 分区对齐：如果设备具有可用作易失性存储器或持久性存储器的容量，则此字段指示分区对齐大小,
    //                            可分区容量等于总容量 - 仅易失性容量 - 仅持久性容量,
    //                            如果为 0，则设备不支持将容量划分为易失性容量和持久性容量。
    // 根据 mds->volatile_only_bytes 申请名字为 ram 的内存资源 request_resource，信息保存在 cxlds->ram_res
    // 根据 mds->persistent_only_bytes 申请名字为 pmem 的内存资源 request_resource，信息保存在 cxlds->pmem_res
    // 如果 partition_align_bytes不为0，则需要分区，用 CXL_MBOX_OP_GET_PARTITION_INFO 获取分区大小信息
    // CXL_MBOX_OP_GET_PARTITION_INFO	= 0x4100
    // CXL 3.1r 8.2.9.9.2.1 Get Partition Info
    // cxl_await_media_ready() 已经检查过每个HDM Memory_Info_Valid flag 为 1, 表示分区信息有效
	if (rc)
		return rc;

	cxlmd = devm_cxl_add_memdev(&pdev->dev, cxlds);
	// 申请资源并初始化 cxlmd
    // 创建字符设备驱动
	if (IS_ERR(cxlmd))
		return PTR_ERR(cxlmd);
	rc = devm_cxl_setup_fw_upload(&pdev->dev, mds);
    // 主要通过 firmware_upload_register 注册用户层接口，调用相应的接口，详情 memdev.c
	if (rc)
		return rc;

	rc = devm_cxl_sanitize_setup_notifier(&pdev->dev, cxlmd);
    // sys节点mds->security.sanitize_node 
    // 用户层可通过epoll，select来监听事件变化
    // opcode 为 CXL_MBOX_OP_SANITIZE 时，唤醒工作队列 mds->security.poll_dwork

	if (rc)
		return rc;

	pmu_count = cxl_count_regblock(pdev, CXL_REGLOC_RBI_PMU);
    // 获取 CPMU 寄存器信息，个数 pmu_count，物理首地址map->resource，大小map->max_size等
    // CPMU 允许多个实例
    // CPMU: CXL Performance Monitoring Unit
	for (i = 0; i < pmu_count; i++) {
		struct cxl_pmu_regs pmu_regs;

        // 寻找 第 i 个实例，记录在 map 中
		rc = cxl_find_regblock_instance(pdev, CXL_REGLOC_RBI_PMU, &map, i);
		if (rc) {
			dev_dbg(&pdev->dev, "Could not find PMU regblock\n");
			break;
		}

		rc = cxl_map_pmu_regs(&map, &pmu_regs);
        // map->resource 是物理首地址
        // 申请资源并进行虚拟地址映射，保存在 pmu_regs->pmu
		if (rc) {
			dev_dbg(&pdev->dev, "Could not map PMU regs\n");
			break;
		}

		rc = devm_cxl_pmu_add(cxlds->dev, &pmu_regs, cxlmd->id, i, CXL_PMU_MEMDEV);
        // 填充 pmu_regs, 设备初始化，添加名为 cxl_pmu（与驱动匹配） 的设备 pmu_mem%d.%d
        // 设备挂载 cxl_bus 上
		if (rc) {
			dev_dbg(&pdev->dev, "Could not add PMU instance\n");
			break;
		}
	}

	rc = cxl_event_config(host_bridge, mds, irq_avail);
    // 检查事件记录，申请中断
    // 获取所有记录，并清空
	if (rc)
		return rc;

    // 根据设备设置，设置 RAS 相关 mask 寄存器
	rc = cxl_pci_ras_unmask(pdev);
	if (rc)
		dev_dbg(&pdev->dev, "No RAS reporting unmasked\n");

    // 保存设备状态
	pci_save_state(pdev);

	return rc;
}

PCIe DVSEC for CXL Device
请添加图片描述

3. cxl_await_media_ready()


int cxl_await_media_ready(struct cxl_dev_state *cxlds)
{
	struct pci_dev *pdev = to_pci_dev(cxlds->dev);
	int d = cxlds->cxl_dvsec;
	int rc, i, hdm_count;
	u64 md_status;
	u16 cap;

	rc = pci_read_config_word(pdev,
				  d + CXL_DVSEC_CAP_OFFSET, &cap);
    // d 是 PCIe DVSEC for CXL Device 的首地址
    // #define   CXL_DVSEC_CAP_OFFSET		0xA
    // 上图， PCIe DVSEC for CXL Device 或者下图 DVSEC CXL Capability，可知偏移 0xA 是 CXL Capability
	if (rc)
		return rc;

	hdm_count = FIELD_GET(CXL_DVSEC_HDM_COUNT_MASK, cap);
    // #define     CXL_DVSEC_HDM_COUNT_MASK	GENMASK(5, 4)	
    // 下图 DVSEC CXL Capability, 5:4 表示 HDM 的数量
	for (i = 0; i < hdm_count; i++) {
		rc = cxl_dvsec_mem_range_valid(cxlds, i);
        // 检查参数 i 指定的 range 寄存器是否可用，Range Size Low 寄存器中有字段标明此状态
		if (rc)
			return rc;
	}

	for (i = 0; i < hdm_count; i++) {
		rc = cxl_dvsec_mem_range_active(cxlds, i);
        // 检查参数 i 指定的 range 内存是否初始化完成并可以被软件使用，Range Size Low 寄存器中 bit1 标明此状态
        // 超时时间全局变量 media_ready_timeout， 可通过模块参数修改
        // #define     CXL_DVSEC_MEM_ACTIVE	BIT(1)
		if (rc)
			return rc;
	}


	md_status = readq(cxlds->regs.memdev + CXLMDEV_STATUS_OFFSET);
    // #define CXLMDEV_STATUS_OFFSET 0x0
    // 如下图 Memory Device Status Register
    // CXL 2.0r 8.2.8.5.1.1 Memory Device Status Register
    // 
	if (!CXLMDEV_READY(md_status))
    // 检查 md_status 3:2 是不是等于 1
    // 为 1 表示准备好
		return -EIO;

	return 0;
}
EXPORT_SYMBOL_NS_GPL(cxl_await_media_ready, CXL);

DVSEC CXL Capability
请添加图片描述

Memory Device Status Register
请添加图片描述

4. cxl_dvsec_mem_range_valid

检查参数 id 指定的 range 寄存器是否可用，Range Size Low 寄存器中有字段标明此状态

static int cxl_dvsec_mem_range_valid(struct cxl_dev_state *cxlds, int id)
{
	struct pci_dev *pdev = to_pci_dev(cxlds->dev);
	int d = cxlds->cxl_dvsec;
	bool valid = false;
	int rc, i;
	u32 temp;

	if (id > CXL_DVSEC_RANGE_MAX)
		return -EINVAL;

	/* Check MEM INFO VALID bit first, give up after 1s */
	i = 1;
	do {
		rc = pci_read_config_dword(pdev,
					   d + CXL_DVSEC_RANGE_SIZE_LOW(id),
					   &temp);
        // #define   CXL_DVSEC_RANGE_SIZE_LOW(i)	(0x1C + (i * 0x10))
        // 由上图 PCIe DVSEC for CXL Device 可知，第一个 DVSEC CXL Range Size Low 偏移是 0x1C
        // 后面的每个 DVSEC CXL Range1 Size Low 都相隔 0x10
		if (rc)
			return rc;

		valid = FIELD_GET(CXL_DVSEC_MEM_INFO_VALID, temp);
        // #define     CXL_DVSEC_MEM_INFO_VALID	BIT(0)
        // 下图 DVSEC CXL Range1 Size Low (Offset 1Ch)， bit0 表示CXL range Size high and size low register valid
        // CXL 设备复位 1 S 之内必须置 1
		if (valid)
			break;
		msleep(1000);
	} while (i--);

	if (!valid) {
		dev_err(&pdev->dev,
			"Timeout awaiting memory range %d valid after 1s.\n",
			id);
		return -ETIMEDOUT;
	}

	return 0;
}

DVSEC CXL Range1 Size Low (Offset 1Ch)
请添加图片描述

5. cxl_pci_setup_mailbox


static int cxl_pci_setup_mailbox(struct cxl_memdev_state *mds, bool irq_avail)
{
	struct cxl_dev_state *cxlds = &mds->cxlds;
    // #define CXLDEV_MBOX_CAPS_OFFSET 0x00
    // CXL 2.0r 8.2.8.4.3 Mailbox Capabilities Register
	const int cap = readl(cxlds->regs.mbox + CXLDEV_MBOX_CAPS_OFFSET);
	struct device *dev = cxlds->dev;
	unsigned long timeout;
	int irq, msgnum;
	u64 md_status;
	u32 ctrl;
    
    // mbox_ready_timeout 全局变量，可配置时间，默认60S
	timeout = jiffies + mbox_ready_timeout * HZ;
    // 首先查询设备是否准备好mailbox
	do {
		md_status = readq(cxlds->regs.memdev + CXLMDEV_STATUS_OFFSET);
        // Ref CXL 2.0 Spec 8.2.8.5.1.1 Memory Device Status Register
		// or 下图 Mailbox Interfaces Ready
		// bit4 置1表示设备已经准备好通过 mailbox 接收命令了
		// #define   CXLMDEV_MBOX_IF_READY BIT(4)
		if (md_status & CXLMDEV_MBOX_IF_READY)
			break;
		if (msleep_interruptible(100))
			break;
	} while (!time_after(jiffies, timeout));

    // 如果是超时，返回错误
	if (!(md_status & CXLMDEV_MBOX_IF_READY)) {
		cxl_err(dev, md_status, "timeout awaiting mailbox ready");
		return -ETIMEDOUT;
	}

	/*
	 * A command may be in flight from a previous driver instance,
	 * think kexec, do one doorbell wait so that
	 * __cxl_pci_mbox_send_cmd() can assume that it is the only
	 * source for future doorbell busy events.
	 */
     // 等待 mailbox 空闲
	if (cxl_pci_mbox_wait_for_doorbell(cxlds) != 0) {
		cxl_err(dev, md_status, "timeout awaiting mailbox idle");
		return -ETIMEDOUT;
	}
    // 发送邮箱命令接口
	mds->mbox_send = cxl_pci_mbox_send;
    // #define   CXLDEV_MBOX_CAP_PAYLOAD_SIZE_MASK GENMASK(4, 0)
    // 8.2.8.4.3 Mailbox Capabilities Register 4:0
    // 命令负载大小，字节， 2的n次幂，最小 256 字节(8)，最大 1MB(20)
	mds->payload_size =
		1 << FIELD_GET(CXLDEV_MBOX_CAP_PAYLOAD_SIZE_MASK, cap);
    
	// Payload Size: Size of the Command Payload Registers in bytes, expressed as 2^n.
	// The minimum size is 256 bytes (n=8) and the maximum size is 1 MB (n=20).
	// Ref CXL 2.0 8.2.8.4.3 Mailbox Capabilities Register

	/*
	 * CXL 2.0 8.2.8.4.3 Mailbox Capabilities Register
	 *
	 * If the size is too small, mandatory commands will not work and so
	 * there's no point in going forward. If the size is too large, there's
	 * no harm is soft limiting it.
	 */
	mds->payload_size = min_t(size_t, mds->payload_size, SZ_1M);
	if (mds->payload_size < 256) {
		dev_err(dev, "Mailbox is too small (%zub)",
			mds->payload_size);
		return -ENXIO;
	}

	dev_dbg(dev, "Mailbox payload sized %zu", mds->payload_size);
    // 驱动工作用的变量和工作队列
	rcuwait_init(&mds->mbox_wait);
	INIT_DELAYED_WORK(&mds->security.poll_dwork, cxl_mbox_sanitize_work);

	/* background command interrupts are optional */
    // #define   CXLDEV_MBOX_CAP_BG_CMD_IRQ BIT(6)
    // 置1表示当后台完成一个命令时设备支持 MSI/MSI-X 中断
    // scondary mailbox 应该为 0
	if (!(cap & CXLDEV_MBOX_CAP_BG_CMD_IRQ) || !irq_avail)
		return 0;

    // #define   CXLDEV_MBOX_CAP_IRQ_MSGNUM_MASK GENMASK(10, 7)
    // 10:7 是这个邮箱实例使用的 MSI/MSI-X 向量
    // MSI 使能，硬件更新这个 field 的值为 MSI 消息的 number
    // MSI-X 使能，表示第一个16 entries 中的一个 entry
    // 如果 MSI 和 MSI-X 都实现了，软件都使能了，这个 field 的值未定义
	msgnum = FIELD_GET(CXLDEV_MBOX_CAP_IRQ_MSGNUM_MASK, cap);
	irq = pci_irq_vector(to_pci_dev(cxlds->dev), msgnum);
	if (irq < 0)
		return 0;
    // 申请中断 irq, 中断处理函数 cxl_pci_mbox_irq
	if (cxl_request_irq(cxlds, irq, cxl_pci_mbox_irq))
		return 0;

	dev_dbg(cxlds->dev, "Mailbox interrupts enabled\n");
	/* enable background command mbox irq support */
    // CXL 2.0r 8.2.8.4.4 Mailbox Control Register
    // #define CXLDEV_MBOX_CTRL_OFFSET 0x04
	ctrl = readl(cxlds->regs.mbox + CXLDEV_MBOX_CTRL_OFFSET);
    // #define   CXLDEV_MBOX_CTRL_BG_CMD_IRQ BIT(2)
    // 如果后台命令完成中断支持，软件置 1 使能功能
	ctrl |= CXLDEV_MBOX_CTRL_BG_CMD_IRQ;
	writel(ctrl, cxlds->regs.mbox + CXLDEV_MBOX_CTRL_OFFSET);

	return 0;
}

Mailbox Interfaces Ready
请添加图片描述

6. cxl_mbox_sanitize_work()


static void cxl_mbox_sanitize_work(struct work_struct *work)
{
	struct cxl_memdev_state *mds =
		container_of(work, typeof(*mds), security.poll_dwork.work);
	struct cxl_dev_state *cxlds = &mds->cxlds;

	mutex_lock(&mds->mbox_mutex);
	if (cxl_mbox_background_complete(cxlds)) {
        // 如果时后台 100% 完成
		mds->security.poll_tmo_secs = 0;
		if (mds->security.sanitize_node)
            // 通知用户层
			sysfs_notify_dirent(mds->security.sanitize_node);
		mds->security.sanitize_active = false;

		dev_dbg(cxlds->dev, "Sanitization operation ended\n");
	} else {
		int timeout = mds->security.poll_tmo_secs + 10;

		mds->security.poll_tmo_secs = min(15 * 60, timeout);
        // poll_tmo_secs 一开始是 1, 超时设置 11 S, 最大 15 * 60 S, 检查是否完成
		schedule_delayed_work(&mds->security.poll_dwork, timeout * HZ);
	}
	mutex_unlock(&mds->mbox_mutex);
}

7.cxl_event_config()


static int cxl_event_config(struct pci_host_bridge *host_bridge,
			    struct cxl_memdev_state *mds, bool irq_avail)
{
	struct cxl_event_interrupt_policy policy;
	int rc;

	/*
	 * When BIOS maintains CXL error reporting control, it will process
	 * event records.  Only one agent can do so.
	 */
     // 如果 BIOS 维护错误报告，它将处理事件记录，只能有一个 agent
	if (!host_bridge->native_cxl_error)
		return 0;

	if (!irq_avail) {
		dev_info(mds->cxlds.dev, "No interrupt support, disable event processing.\n");
		return 0;
	}

	rc = cxl_mem_alloc_event_buf(mds);
    // 申请内存空间， mds->payload_size大小，首地址 mds->event.buf 
	if (rc)
		return rc;

	rc = cxl_event_get_int_policy(mds, &policy);
    // 发送 mailbox CXL_MBOX_OP_GET_EVT_INT_POLICY
    // CXL_MBOX_OP_GET_EVT_INT_POLICY	= 0x0102
    // Get Event Interrupt Policy ref CXL 3.1r 8.2.9.2.4 Get Event Interrupt Policy
    // 获取设备事件的中断设置
	if (rc)
		return rc;

	if (cxl_event_int_is_fw(policy.info_settings) ||
	    cxl_event_int_is_fw(policy.warn_settings) ||
	    cxl_event_int_is_fw(policy.failure_settings) ||
	    cxl_event_int_is_fw(policy.fatal_settings)) {
        // 如下图 Get Event Interrupt Policy Output Payload， 获取相应寄存器信息
        // 任意一个设置为 CXL_INT_FW == 2， 则报错
		dev_err(mds->cxlds.dev,
			"FW still in control of Event Logs despite _OSC settings\n");
		return -EBUSY;
	}

	rc = cxl_event_irqsetup(mds);
    // cxl_event_config_msgnums() 使用 CXL_MBOX_OP_SET_EVT_INT_POLICY 命令设置事件中断 MSI/MSI-X
    // CXL_MBOX_OP_SET_EVT_INT_POLICY	= 0x0103
    // 然后获取中断号，并申请中断，处理函数为 cxl_event_thread
	if (rc)
		return rc;

	cxl_mem_get_event_records(mds, CXLDEV_EVENT_STATUS_ALL);
    // #define CXLDEV_EVENT_STATUS_ALL 0xF
	return 0;
}

Get Event Interrupt Policy Output Payload
请添加图片描述

8. cxl_pci_ras_unmask()


static int cxl_pci_ras_unmask(struct pci_dev *pdev)
{	
	struct cxl_dev_state *cxlds = pci_get_drvdata(pdev);
	void __iomem *addr;
	u32 orig_val, val, mask;
	u16 cap;
	int rc;

	if (!cxlds->regs.ras) {
		dev_dbg(&pdev->dev, "No RAS registers.\n");
		return 0;
	}

	/* BIOS has PCIe AER error control */
	if (!pcie_aer_is_native(pdev))
		return 0;
    
    // #define PCI_EXP_DEVCTL		0x08
    // PCIE 配置空间寄存器, 如下图 Device Control Register
	rc = pcie_capability_read_word(pdev, PCI_EXP_DEVCTL, &cap);
	if (rc)
		return rc;
    
    // #define  PCI_EXP_DEVCTL_URRE	0x0008
    // 下图 bit3 Unsupported Request Reporting Enable
	if (cap & PCI_EXP_DEVCTL_URRE) {
		addr = cxlds->regs.ras + CXL_RAS_UNCORRECTABLE_MASK_OFFSET;
		orig_val = readl(addr);

		mask = CXL_RAS_UNCORRECTABLE_MASK_MASK |
		       CXL_RAS_UNCORRECTABLE_MASK_F256B_MASK;
        // 两个 bit 清 0 ？
		val = orig_val & ~mask;
		writel(val, addr);
		dev_dbg(&pdev->dev,
			"Uncorrectable RAS Errors Mask: %#x -> %#x\n",
			orig_val, val);
	}

	if (cap & PCI_EXP_DEVCTL_CERE) {
        // #define  PCI_EXP_DEVCTL_CERE	0x0001	/* Correctable Error Reporting En. */
        // 下图 bit 0
		addr = cxlds->regs.ras + CXL_RAS_CORRECTABLE_MASK_OFFSET;
		orig_val = readl(addr);
		val = orig_val & ~CXL_RAS_CORRECTABLE_MASK_MASK;
		writel(val, addr);
		dev_dbg(&pdev->dev, "Correctable RAS Errors Mask: %#x -> %#x\n",
			orig_val, val);
	}

	return 0;
}

Device Control Register
请添加图片描述

Call Me Gavyn
关注
  • 7
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
伟肯CX/CXL/CXS系列中文手册说明书
07-28
根据提供的文件信息，“伟ken CX/CXL/CXS系列中文手册说明书”，可以推断出这份文档主要涉及的是伟ken CX、CXL以及CXS三个系列产品的详细介绍和技术指导。下面将从这几个系列的产品特性、应用场景以及技术参数等方面...
Vacon CX/CXL/CXS系列变频器“五合一”应用手册(7).pdf
10-15
Vacon CX/CXL/CXS系列变频器“五合一”应用手册(7)pdf,Vacon CX/CXL/CXS系列变频器“五合一”应用手册(7)
CXL2.0.pdf Spec 文档
03-06
根据给定的信息，本文将对CXL（Compute Express Link）2.0规格文档中的关键知识点进行解析，并结合存储领域的背景来展开讨论。 ### CXL2.0简介 CXL（Compute Express Link）2.0是一种高速互联标准，旨在提供统一且...
Vacon CX/CXL/CXS系列变频器“五合一”应用手册(2).pdf
10-13
Vacon CX/CXL/CXS系列变频器“五合一”应用手册(2)pdf,Vacon CX/CXL/CXS系列变频器“五合一”应用手册(2)
Vacon CX/CXL/CXS系列变频器“五合一”应用手册(3).pdf
10-13
Vacon CX/CXL/CXS系列变频器“五合一”应用手册(3)pdf,Vacon CX/CXL/CXS系列变频器“五合一”应用手册(3)
Linux地址空间详解
m0_74830524的博客
08-02 865
本篇通过对物理内存和页表详细的讲解，对 Linux 系统下的地址空间做了深度的剖析。
Linux下部署python记录
龙井茶的Sky
08-06 776
在本地实现了一个python写的webapi，现在要部署到一个外网服务器测试，奈何服务器资源不是我的，而且配置很低。之前我是搞过直接Linux下docker部署python，但是服务器配置很低可能没法搞docker，只能直接在Linux服务器部署python。不过实际上，Linux直接部署、Linux下docker部署，差别不大的。最终，我还是采用了直接运行代码的方式。使用打包部署的方式一直没成功，主要问题在于，同一个服务器，直接运行代码没问题，但是打包部署运行，就提示缺包或找不到包的情况。
CanFestival在Linux下的使用
爱就是是恒久忍耐的专栏
08-02 781
Linux下使用CanFestival
Linux：账号和权限管理（一）
shyuu的博客
08-04 725
Linux的账号和权限管理。Linux基于用户身份对资源访问进行控制。
linux 终端选择 VT100 VT102 VT200 Xterm linux Vshell 等都有什么区别
记录 分享 成就
08-06 199
在 Linux 系统中，终端类型通常指的是终端模拟器或终端控制程序所支持的特定功能和行为的集合。不同的终端类型支持不同的功能集，这些功能包括光标控制、文本格式化、屏幕滚动等。
linux 011 注释13：缺页中断，新设计艺术团队第二版，第四章 4-39 至 4-
zhangzhangkeji的博客
08-06 65
（133） 4-42 函do_no_page。
linux docker安装 gitlab后忘记root密码如何找回
爱丫爱的博客
08-06 140
docker 安装git 忘记root 密码如何重新设置。
Linux -ls 命令入门
weixin_47515798的博客
08-06 83
Linux命令行在执行命令的时候，需要一个工作目录，打开命令行程序（终端）默认设置工作目录在用户的HOME目录。当不使用选项和参数，直接使用ls命令本体，表示：以平铺形式，列出当前工作目录下的内容。当前登录用户的HOME目录作为当前工作目录，所以ls命令列出的事HOME目录的内容。每一个用户在Linux系统的专属目录，默认在：/home/用户名。·-a -l -h是。
linux：phpstudy安装及日常命令使用[表格]
h1008685的博客
08-06 272
linux——phpstudy安装及日常使用命令
Linux之进程间通信（上）
qq_55958734的博客
08-06 316
匿名管道
SX_Linux /etc/profile_11
Narnat的博客
08-06 146
LD_LIBRARY_PATH是一个用于指定动态链接器搜索共享库的路径的环境变量。在这里，它将/usr/local/lib/目录添加到现有的LD_LIBRARY_PATH搜索路径中。这样做可以让程序在运行时找到位于/usr/local/lib/目录下的共享库。是一个环境变量，它包含了一系列由冒号（:）分隔的目录路径。当用户在命令行中输入一个命令时，系统会按照 PATH 环境变量中定义的目录顺序，在这些目录中查找相应的可执行文件。可执行文件运行后会间接查找到/etc/profile的链接获取可执行文件位置。
Linux(初学)
最新发布
2301_79941274的博客
08-06 458
1945.2.14 埃尼阿克(第一台计算机)(军事用途)摩尔定律(计算机小型化,高性能化)摩尔定律是英特尔创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路上可以容纳的晶体管数目在大约每经过18个月到24个月便会增加一倍。换言之，处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。计算机私人公司(面向企业的大型计算机--IBM)(面向个人的计算机--Apple,Microsoft,英特尔)(联想)个人计算机发展---计算机+互联网---pc互联网时代---手机+互联网---移动互联网。
linux搭建redis超详细
RAGACM的博客
08-06 94
为了能够远程连接redis，修改bind 127.0.0.1 -::1为bind 0.0.0.0。为了启动redis服务的时候能以后台方式运行，修改daemonize no为yes。修改密码，foobared是密码，改成自己想要的。3、进入redis-7.0.11，依次执行。4、修改配置文件redis.conf。6、连接redis客户端。1、下载redis包。我以7.0.11为例。
【python】Linux升级版本
woyizhizaizhaoni的专栏
08-02 336
迁移项目包路径到服务器上查看服务器包是否和本地已有项目python版本相同然后发现~嗯不一样项目上包时用的3.8~服务器用的2.7。
cxl2.0 cxl.io endpoint
06-03
我不太明白你的问题是什么。CXL（Compute Express Link）是一种新型的高速互连标准，可以连接CPU、GPU、FPGA等处理器和加速器，提供高速、低延迟的数据传输。而cxl.io则是一个CXL技术社区，提供了有关CXL技术发展、应用和实践的文章、论坛和资源等。至于"endpoint"，它可以指CXL连接的终端设备，也可以指CXL总线上的末端节点。请问你想了解关于CXL和cxl.io的哪个方面？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Call Me Gavyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值