基于同创logos2系列FPGA自研PCIe DMA驱动与软件栈

已于 2023-04-18 09:53:52 修改
阅读量563 收藏 2
点赞数 2
分类专栏： 国产FPGA 文章标签： fpga开发 驱动开发 linux
于 2022-07-20 09:49:45 首次发布
原文链接：https://blog.csdn.net/MQWYY3/article/details/125876450
版权

前言：本驱动适配基于同创logos2的国产FPGA PCIe加速器板卡，板卡相关资料见：https://blog.csdn.net/whlzywy/article/details/125844174

紫光同创logos2 FPGA PCIe软件栈


当前国际形势，美丽国对我们的制裁进一步加剧，高端FPGA“一票难求”，国产FPGA起步较晚，且生态落后，同创logos2芯片虽然硬件资源可达100K，但相关的软件栈及IP发展相对滞后，如高速PCIe接口仅有硬核IP。
基于此背景，自研基于同创logos2的标准pcie开发板，实现gen2*4 pcie接口并适配到国产服务器（海光、龙芯、飞腾）；开发app对板卡的基本性能进行测试。

基于同创logos2系列FPGA自研PCIe软件栈

自研PCIe软件栈已适配RHEL，centos，ubuntu（包括中标麒麟、统信UOS、银河麒麟）等，采用标准linux设备模型及分层设计的思想，自下而上可分为驱动层，api层，app层。

  • 驱动层
    驱动层实现标准pcie字符设备注册、提供用户层交互接口；
  • API层
    api层为用户提供友好的调度接口；
  • APP层
    app层实现几个应用demo，进行板卡功能、性能测试。

整体框架如下图所示
logos2 FPGA软件栈架构图

驱动层

驱动层主要实现以下功能：设备初始化，设备operation，设备卸载。设备初始化包括pcie驱动注册，msi中断注册等等；设备operation包括bar读写、dma操作；设备卸载包括pcie设备注销、内核资源释放等。

设备初始化

列举设备初始化过程中使用到的几个接口：

  • pci_register_driver：注册pci设备驱动
  • alloc_chrdev_region：动态申请设备号
  • cdev_init(&device.cdev,&device_fops)：初始化字符设备
  • cdev_add：添加字符设备
  • class_create：创建设备类
  • device_create：生成设备节点

pcie驱动注册probe中主要完成以下几点工作：

  • pci_enable_device：使能pcie设备
  • pci_set_master：pcie获取设备总线
  • pci_resource_start系列接口：bar地址映射系列接口
  • pci_alloc_consistent：申请dma一致性内存
  • pci_enable_msi：使能msi
  • request_irq：msi中断注册

Device operation

提供丰富的bar、dma操作接口

Bar相关操作接口：

  • char_open：打开设备操作
  • char_release：释放设备操作
  • char_read：bar读取操作
  • char_write：bar写入操作
  • char_llseek：移位操作
  • char_mmap：重映射操作

DMA相关接口：

  • dma_init：dma初始化操作
  • dma_start：启动dma操作
  • dma_set_desc：设置dma描述符
  • dma_queue：初始化dma队列
  • dma_send：dma数据交互（收发）

设备卸载

释放pcie设备注册时占用的资源，将资源释放给内核。

API层

API层提供丰富的接口供用户APP调用，用户根据API定义，传入指定的参数即可实现对设备的读取访问。

配置空间访问接口

  • cfg_read8：读取8bit bar配置空间信息
  • cfg_read16：读取16bit bar配置空间信息
  • cfg_read32：读取32bit bar配置空间信息
  • cfg_write8：配置8bit bar配置空间信息
  • cfg_write16：配置16bit bar配置空间信息
  • cfg_write32：配置32bit bar配置空间信息

bar访问接口

  • read8：读取8bit bar空间信息
  • read16：读取16bit bar空间信息
  • read32：读取32bit bar空间信息
  • read64：读取64bit bar空间信息
  • write8：配置8bit bar空间信息
  • write16：配置16bit bar空间信息
  • write32：配置32bit bar空间信息
  • write64：配置64bit bar空间信息

dma操作接口

  • dma_queue_read：配置dma读取信息序列
  • dma_queue_write：配置dma写入信息序列
  • dma_send_write：发送dma写入启动命令
  • dma_send_read：发送dma读取启动命令
  • dma_send_all：发送dma同时读写启动命令

其他操作接口

  • get_ktimer：获取dma执行时间
  • get_bar：获取bar
  • set_bar：切换bar

APP层

APP层实现几个应用测试demo，一方面用于测试API接口设计友好性，一方面用于进行板卡的功能（如bar读写、msi中断上报等）、性能（pcie读、写、同时读写带宽）测试等。

接口测试

  • 读写bar配置空间
//配置32位bar空间配置信息
dev->cfg_write32(reinterpret_cast<void *>(addr),uint32_t write_data);
//获取32位bar空间配置信息
dev->cfg_read32(reinterpret_cast<void *>(addr),uint32_t read_data);

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 读写bar空间
//配置32位bar空间信息
dev->write32(reinterpret_cast<void *>(addr),uint32_t write_data);
//获取32位bar空间信息
dev->read32(reinterpret_cast<void *>(addr),uint32_t read_data);

 
 

 
 
  • 1
  • 2
  • 3
  • 4

性能测试

  • dma测试
//映射内存空间
dev->kmem_mmap(unsigned int size,unsigned int offset);
//配置dma队列读写信息
dev->dma_queue_read/write(uint64_t ep_offset,unsigned int size,uint64_t kmem_offset);//配置读、写队列
//启动dma传输
dev->dma_send_read/write/all();//发送读、写、同时读写操作
//获取dma运行时间
dev->get_ktimer();//获取dma运行时间，计算dma带宽

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

总结

面对严峻的国际形势以及国产FPGA落后的发展现状，本案基于同创logos2 FPGA实现高速PCIE软件栈开发与性能测试，亮点在于实现基于描述符的高带宽利用率PCIE软件栈设计与实现，并在多个国产服务器平台下进行适配与性能验证。结果表明，在国产服务器平台下，该软件栈都有良好的读写性能，即使是龙芯服务器，带宽利用率都有70%的表现。
在这里插入图片描述

技术交流

    近两年国产FPGA发展迅速，在部分领域已有不错市场份额，相信未来会有一席之地，欢迎技术交流！

在这里插入图片描述

Aegean_Wang
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【紫光同创logos2 FPGA PCIe软件栈设计】
MQWYY3的博客
07-20 1590
基于同创logos2芯片设计高速pcie软件栈并在国产服务器上进行适配与性能测试
中国航天芯 | 宇航用7系列FPGA整体解决方案
dpwkj的博客
02-23 253
为满足宇航型号对大规模、高性能、高可靠、高安全FPGA应用需求，北京微电子技术研究所提供以7系列FPGA为核心的宇航用整体解决方案，主要器件包括宇航用7系列FPGA、动态重构刷新电路、配置存储器、电平转换电路以及外围接口等。
【紫光同创PCIE教程】——使用WinDriver驱动紫光PCIE
MYMINIEYE的博客
11-21 1131
紫光的logos系列的PGL50H/PGL100H、logos-2全系列都集成gen2×4的PCIE硬核，且官方也提供了例程。紫光的PCIE用起来还是挺方便的，生成IP的同时生成了对应的PCIE example例程。紫光的PCIE IP虽然没有像xilinx那样可以直接使用Block Design设计，但是仔细读一遍官方例程的DMA模块，进而开发自己的东西，还是能够很好用起来紫光的PCIE。对于毫无PCIE知识和经验的小白来说，比如我来说，使用好紫光的PCIE还是有难度的。
国产fpga文档——内含51硬核以及各种资源
08-21
支持国产fpga 国产fpga文档——内含51硬核以及各种资源 fpga 51内核 fpga 51内核
基于国产FPGA紫光同创Titan2 PG2T390H的PCIe链式DMA控制器设计
whlzywy的博客
04-17 2302
介绍基于紫光同创Titan2系列PG2T390H芯片的链式PCIe DMA控制器实现框架，该架构支持多通道，每个通道支持128个描述符，亦可支持SR-IOV虚拟化，支持两路PF，6个VF。数据通道支持标准AXI-MM接口，修改简化亦可支持AXI-Stream接口。BAR读写可支持APB接口或者AXI-lite接口。本方案亦可移植到xilinx/intel平台，真正做到自主可控，带宽利用率极高，数据量在64m以上接近理论极限水平。基于全流水设计，相较于intel、xilinx官方IP，本IP的带宽利用率更高！
国产化高速信号处理板PCIE-4DSP-1FPGA
weixin_44862298的博客
04-28 444
GCH-PCIE-4DSP-1FPGA板卡是一款PCIE 全高、3/4长度的信号处理板，含四片用于信号处理的国产化高端XX-X6678 DSP和一片国产化V7 690T系列FPGA。每片DSP最高可支持4GB的DDR3 SDRAM，1Gb SPI Flash和8Gb NAND Flash。FPGA最高可支持3组8GB容量DDR3 SDRAM，板间可以通过FPGA的8X 的PCIE 3.0接口、1x光纤和网口进行互联扩展。※ 每片DSP支持1组4GB DDR3 SDRAM @1600Mbps；
基于同创logos2的国产FPGA加速器与DMA设计与实现
whlzywy的博客
07-18 1884
基于紫光同创logos2开发全国产FPGA加速器与链式DMA控制器（国产FPGA加速卡/国产FPGA开发板/国产FPGA pcie板卡），自主设计开发加速器软件栈，支持pcie DMA，链式DMA，支持双通道DDR，支持两路SFP光口，支持板级监控管理（温度、功耗等），自主、安全、可控。........................
Logos系列FPGA时钟资源（Clock）用户指南.pdf
09-10
Logos 系列产品提供了丰富的片上时钟资源，其中 PGL22G CLOCK 包含两类 clock tree，第一类 由 global clock 和 regional clock 组成，第二类为 io clock tree，每一类都有相应的 clock tree 和 mux（如 图 1）。 第...
DS002_1 Logos系列FPGA器件数据手册.pdf
09-10
Logos系列可编程逻辑器件是深圳市紫光同创电子有限公司推出的全新低功耗、低成本 FPGA产品，它采用了完全自主产权的体系结构和主流的40nm工艺。Logos系列FPGA包含创新 的可配置逻辑模块（CLM）、专用的18Kb存储单元...
紫光同创 dvi (hdmi) 视频输出驱动模块
05-26
本资源是紫光同创 dvi (hdmi) 视频输出驱动模块的代码，适用于紫光同创 Logos 系列 FPGA 器件，实现 24bit RGB 数据和 vsync, hsync, de 信号的编码与输出驱动，编码方式为 8b10b 编码，输出驱动使用紫光同创 GTP_...
Logos系列FPGA器件数据手册.pdf
11-14
Logos系列FPGA器件是深圳市紫光同创电子有限公司推出的一款高性能、低功耗的现场可编程门阵列。此系列FPGA的数据手册详细介绍了器件的各项技术规格、功能特性和使用注意事项，为设计人员提供了全面的技术参考。 1. ...
紫光同创 FPGA 平台 util-gmii-to-rgmii 模块
05-15
本资源是紫光同创 Logos 系列 FPGA 平台 RGMII 与 GMII 桥接模块源代码，使用 GTP_ISERDES 和 GTP_OSERDES 原语和输入输出 BUF 实现，GTP_ISERDES 和 GTP_OSERDES 均配置为 DDR 模式，可用于千兆以太网通信中实现...
【紫光同创国产FPGA教程】【PGL50H第八章】PCIE 通信测试实验例程
MYMINIEYE的博客
07-18 1638
注：例程位置:2_Demo\09_pcie_test\ipcore\pcie_test\pnr\example_design 将程序固化到 flash 内，把开发板插入电脑 PCIE 卡槽，连接电源，将电源开关打开，电 脑开机。5.关闭本工程，按此路径打开 Example 工程： 2_Demo\11_pcie_test\ipcore\pcie_test\pnr\example_design。1.打开 PDS 软件，新建工程 pcie_test，点开如下图标，打开 IP Compiler；
2 --＞ PCIE 协议栈的框架详解
weixin_38387929的博客
03-25 2763
(1). PCIe 协议栈总览 上图是整个 PCIe 的软件框架、PIPE-CompliantPHY 部分的 SERDES 模块、DWC PCIe Core 包含 Physical Layer (MAC)、 DATA Link Layer、 Transaction Layer 和 Application Dependent part of the Transaction Layer，此部分为 PCIe Core 内容。用户驱动部分内容是 Application Logic、Application Reg
【紫光同创PCIE教程】——DMA读写/PIO内存读写TLP解析
MYMINIEYE的博客
12-01 1773
对于Mwr的Header，对着协议格式分析，很容易知道第一个Header地址（32bit）是df20_2000，携带数据长度Length（以DW为单位）为1，报文类型[Fmt,Type]=0x40（表明为3DW Mwr），字节使能[last DW BE,first DW BE]=0x0f，其他信息对座入号就行了，特别注意的是TLP是大端格式，[Fmt,Type]=axis_master_tdata[31:24]，实际代表的是0Byte的位置，其他DW数据亦如此。主机的3次MWr TLP是什么呢？
【紫光同创PCIE教程】——使用官方驱动在Windows下进行DMA读写操作/PIO读写操作
MYMINIEYE的博客
11-30 1141
紫光同创官方主推的是在linux系统下开发驱动和上层软件，相应地，官方提供了在linux一个基于GTK+2.0的PCIE测试平台，该平台能够很好去操作官方生成的例程。官方也提供了一个Windows的驱动例程，该例程能够完成PCIE的DMA读写操作和PIO内存读写操作，但是该驱动并未完全适配IP生成的官方例程，官方提供另一份的FPGA的工程与之适配。最后简单声明一下，更改驱动只是适配紫光同创IP生成的例程，把IP自带例程的DMA机制通信成功起来，当然也可以去更改IP生成例程DMA的逻辑设计来适配原来的驱动。
FPGA PCIe 软核的实现——扒一扒复旦微、国微PCIe软核的实现
Fpga_coding的博客
06-10 3615
近来复旦微、国微等厂家相继推出了可以兼容XILINX PCIe硬核的PCIe软核，销售也到所里来推广了一下，领导交代让抽自己的时间试用研究一下，看项目中用不用的起来。读研的时候就接触过，PCIE协议非常非常复杂，要实现非常非常困难，稍微看过一些协议，看球不懂，真给这协议写出来，吊炸天。复旦微作为国内首家正向FPGA做的比XILINX还牛逼的厂家，弄出来的PCIe软核肯定也是很了不得。国微则作为反向界的扛把子，真想看看这次这个PCIe软核是否和反向有关系。
PCIe接口在FPGA上的实现
热门推荐
小裘的博客
11-26 1万+
引言 PCI Express Base Specification Revision 3.0 PCI Local Bus Specification Revision 3.0 书籍：PCI Express System Architecture，对应那本紫色的《PCI Express 体系结构标准教材》   上面的两个Specification的文档虽然不是从官网找的，但是可信度还是有保证的。我们学校图书馆有那本中文的书，基本上跟规范里的内容是一致的，而且应该更好理解一点。第一个规范里主要看第七章“So
基于FPGA的DDS信号发生器
最新发布
m0_62919535的博客
07-02 1001
此处仅为基于Vivado实现DDS信号发生器的仿真实现，Vivado的安装请看下面的文章，这里我只是安装了一个标准版本，只要能够仿真波形即可。DDS技术是一种通过数字计算生成波形信号的方法，其核心原理是利用数字相位累加器和波形查找表（ROM）生成高精度、频率可调的波形信号。DDS系统的主要组成部分包括频率控制字（Fword）、相位累加器、相位控制字（Pword）和波形查找表。在DDS系统中，频率控制字决定了输出波形的频率。频率控制字越大，相位累加器每个时钟周期增加的相位值就越大，从而输出波形的频率越高。相位
紫光PDS PCIE例程
10-07
紫光PDS PCIE例程是一个用于将程序固化到flash内，并将开发板插入电脑PCIe卡槽，连接电源后，通过设备管理器识别PCIE设备的例程。该例程使用紫光同创40nm工艺的FPGA（logos系列：PGL50H-6IFBG484）作为核心板，具有两颗DDR3和Flash，用于最小系统运行、高速数据处理和存储。FPGA和DDR3之间的数据交互时钟频率最高达到400MHz，两颗DDR3的数据位宽为32bit，总数据带宽最高为25600Mbps，充分满足高速多路数据存储的需求。此外，PCIE IP符合PCI Express Base Specification Revision 2.1和PHY Interface for the PCI Express Architecture Version 2.00协议。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值