- 博客(28)
- 收藏
- 关注
RSS订阅原创 【linux-interconnect】What NVIDIA MLNX_OFED is？
NVIDIA MLNX_OFED Documentation v23.07 - NVIDIA DocsNVIDIA® OpenFabrics Enterprise Distribution for Linux (MLNX_OFED) is a single Virtual Protocol Interconnect (VPI) software stack that operates across all NVIDIA network adapter solutions.NVIDIA OFED (MLNX_
2024-01-25 20:53:04
511
原创 【linux-虚拟化】 SR-IOV技术
单根 I/O 虚拟化(SR-IOV)是一种规范，它允许单个 PCI Express(PCIe)设备向主机系统呈现多个独立的 PCI 设备，称为虚拟功能(VF)。提供与原始 PCI 设备相同的或类似的服务。出现在主机 PCI 总线的不同地址上。可使用 VFIO 分配功能分配到不同的虚拟机。例如，单个具有 SR-IOV 的网络设备可以向多个虚拟机显示 VF。虽然所有 VF 都使用相同的物理卡、相同的网络连接和相同的网线，但每个虚拟机都直接控制其自己的硬件网络设备，并且不使用主机的额外资源。
2024-01-25 20:49:17
1476
原创 【dpdk】NVIDIA Poll Mode Driver (PMD) in DPDK
NVIDIA Poll Mode Driver (PMD) in DPDK
2024-01-25 20:41:18
911
原创 【dpdk】Deflate Your Data with DPDK Compression API
we tell you about Data Compression and how it can be useful in your applications. We then introduce the DPDK compression API and how it can help deflate your data!Big data workloads generate massive quantities of information that need to be sent acr
2024-01-24 22:05:23
779
原创 【spdk】spdk compressdev测试
spdk compressdev 和compressdev_scan_accel_module 测试
2024-01-24 22:03:27
814
原创 【dpdk】dpdk-test-compress-perf Tool
The `dpdk-test-compress-perf` tool is a Data Plane Development Kit (DPDK) utility that allows measuring performance parameters of PMDs available in the compress tree.
2024-01-24 21:53:01
854
原创 【dpdk】qat-getting-started-guide-with-dpdk-v2.0
浏览器输入https://01.org/ 进入Projects->QuickAssist Technology。下载安装driver。
2024-01-24 21:51:15
1072
原创 【dpdk】IntelQAT技术
QAT支持硬件加速Deflate无损压缩算法，在处理海量数据时，QAT在不增加CPU开销的前提下，通过压缩来减少需要传输和存盘的数据量，从而减少了网络带宽和磁盘读写的开销，最终提高了整体的系统性能。例如，在Web Serer上使用QAT硬件加速压缩处理，可将CPU从繁重的压缩计算中解放出来，以处理更多的连接请求。该方案利用QAT芯片分担对称/非对称加密计算,DEFLATE无损压缩等大计算量的任务，来降低CPU使用率并提高整体平台性能。该方案可以主板芯片，独立的PCI-E加速卡或者SOC三种方式部署。
2024-01-24 21:44:21
1037
原创 【spdk】bdev
SPDK最新的compress vbdev。由于使用了DPDK Framework， 可以非常方便地利用硬件QAT的QATzip 或者ISA-L 提供的IGZIP 实现高速压缩。一种是借助于DPDK Framework里的cryptodev， 使用统一的编程接口，使用硬件QAT或者软件加速库进行加密。还有一种是对于支持OPAL协议的NVMe盘上建立的bdev加密的支持，这部分加密依赖于OPAL盘的自身硬件。来自其他链接：https://www.sdnlab.com/23547.html。
2024-01-24 21:37:06
970
原创 【spdk】SPDK “Reduce“ Block Compression Algorithm
压缩块设备以块为单位对数据进行压缩和解压缩，其中块是至少两个4KB底层IO单位的倍数。每个块使用的底层IO单位数量决定了块的大小，并在创建压缩块设备时指定。与块相关的磁盘上的块存储在持久性内存中的“块映射”中。分配的块映射数量等于压缩块设备的大小除以其块大小，再加上一些额外的块映射。请注意，尽管对底层存储设备的访问是以4KB为单位进行的，但逻辑视图可能允许4KB或512B单位的访问，并且性能应相似。短语“压缩的存储块”包括这些未压缩的块。逻辑映射是将压缩块设备中的块偏移量映射到相应的块映射的映射。
2024-01-24 21:31:07
805
原创 【spdk-dpdk】SPDK-DPDK-GSG
在该目标器中同时创建一个LUN0，其所使用的bdev设备是前面创建的Malloc0。同时建立该目标器与端口组1和启动器组2的关联。也就是说，在上述配置的IP地址上的启动器可以通过端口组访问该目标器了。本文选用的是跟目标器相同的物理机，所以是相同的地址。1）可参考daos/utils/scripts/install-ubuntu.sh脚本，附加nasm、python3-pyelftools。3.在目标器服务中创建一个端口组（port group）,这里端口组的ID为1，地址为我们的物理机或虚拟机的IP地址。
2024-01-24 21:25:09
957
原创 【数据存储】数据压缩算法DEFLATE
基于统计的数据压缩编码，比如Huffman编码，需要得到先验知识，即信源的字符频率，然后进行压缩。当前数据压缩领域流行的无损压缩算法有很多，如DEFLATE、BZIP2、LZMA、LZMA2等等，其中压缩速度最快的是DEFLATE压缩算法。根据对DEFLATE算法性能的实际测试，发现DEFLATE算法在大数据文件压缩方面的性能表现，并不如预期那样令人满意。: 有状态的解压缩算法可能需要对之前的上下文进行敏感分析，以便更好地理解并解压缩数据。: 这些算法可能会跟踪之前处理过的数据或模式，以优化解压缩过程。
2024-01-24 21:09:25
1054
原创 【数据存储】数据压缩需求分析
当前数据压缩领域流行的无损压缩算法有很多，如DEFLATE、BZIP2、LZMA、LZMA2等等，其中压缩速度最快的是DEFLATE压缩算法。根据对DEFLATE算法性能的实际测试，发现DEFLATE算法在大数据文件压缩方面的性能表现，并不如预期那样令人满意。数据压缩不仅仅是能够为用户节约存储空间，也能较快的传输各种信息，减小通信延迟。此外，在节省通信带宽和节约信息传送资源消耗方面，数据压缩也能起到很大的作用。1.数据压缩需求分析。
2024-01-24 21:05:18
359
原创 【avocado】avocado框架原理架构
-----------------------------------------------虫洞------------------------------------------------------------感兴趣的，可以上手操作一下，也可以打开上面的虫洞链接继续看下去，我们就到此为止了。【顺便说一下读英文的小技巧，道家有一很有意思的思想，“得其意而忘其形”，就是明白意思就可以了，管它是英文还是中文】机器友好格式：json、tap、xml。看下面这张图就可以了。人类友好格式：html。
2023-12-13 16:24:07
450
1
原创 【读书笔记】《早起的奇迹》
6、通过记日记，记录自己的想法和灵感，审视进步和重温过去的感动。3、第21天至30天已适应新习惯，不再感到痛苦，但需要趁热打铁。2、通过朗读自我肯定宣言真正肯定自我，重新编程潜意识。5、每天早上花10-15分钟阅读书籍，增加知识储备。4、坚持锻炼，使思维清晰，保持身体健康和精力充沛。1、通过冥想等方式，有目的的让内心安静。3、走向浴室刷牙洗脸，让身体完全苏醒。3、通过内心演练的方式，激励自己。1、前10天克制自己、征服新习惯。2、第11至20天保持自律。2、把闹钟放在稍远的距离。1、睡前积极的自我暗示。
2023-12-07 13:20:42
367
1
原创 【存储测试工具集】vdbench快速使用
本篇目的是简单使用，知道怎么安装，怎么上手快速使用，关于工作负载如何配置以满足自己的测试场景需求 强烈推荐这篇文章存储测试】vdbench存储性能测试工具。
2023-12-06 21:36:21
1234
1
原创 【JuiceFS】理解juicefs缓存
对于一个由对象存储和数据库组合驱动的文件系统，缓存是本地客户端与远端服务之间高效交互的重要纽带。读写的数据可以提前或者异步载入缓存，再由客户端在后台与远端服务交互执行异步上传或预取数据。相比直接与远端服务交互，采用缓存技术可以大大降低存储操作的延时并提高数据吞吐量。JuiceFS 提供包括元数据缓存、数据读写缓存等多种缓存机制。【学会思考】上面我们知道了缓存的优势，为什么要引入缓存。还要考虑我们的应用场景 ，真的需要缓存吗？缓存提升性能的前提是什么？
2023-12-04 20:43:01
1145
原创 【python】安装第三方库(离线+在线国内源)
前言在日常工作生活中，我们有时需要在无法联网的设备中安装Python第三方库，在联网的情况下，我们安装第三方库只需要一条pip命令即可，运行命令之后，会自动开始下载；同样地，我们也需要将依赖的其他第三方库下载好。总结本文主要介绍了如何在离线的情况下安装Python的第三方库，我们介绍了通过压缩包和wheel文件两种方法离线安装第三方库，但是我们需要注意，不只需要下载我们目标的第三方库，还需要同步下载依赖的第三方库，在使用命令安装时，我们需要先安装依赖的第三方库，再安装我们的目标库。
2023-11-09 16:51:23
830
原创 【linux全栈】进程通信的六大机制
简单总结一下上面六种 Linux 内核提供的进程通信机制：1）首先，最简单的方式就是管道，管道的本质是存放在内存中的特殊的文件。也就是说，内核在内存中开辟了一个缓冲区，这个缓冲区与管道文件相关联，对管道文件的操作，被内核转换成对这块缓冲区的操作。管道分为匿名管道和有名管道，匿名管道只能在父子进程之间进行通信，而有名管道没有限制。2）虽然管道使用简单，但是效率比较低，不适合进程间频繁地交换数据，并且管道只能传输无格式的字节流。为此消息队列应用而生。
2023-10-13 20:48:18
87
原创 【运维】更改网络接口名称
在管理daos 集群过程中，尤其是当集群规模达到千节点，为使用 并发工具，如pdsh 或clush 来批量化部署管理业务， 保证网络接口统一十分关键，一方面提高我们的工作效率，另一方面是大大降低集群的维护成本。当我们编辑完成的时候不会立即生效，因为这个文件并不会被启动设置所读取到，而/boot/grub2/grub.cfg是被系统启动时真正读取到的，所以需要把刚才编辑好的文件转换为系统可以真正读取到的文件。网卡命名的规则主要和 biosdevname 和 net.ifnames 两个参数的影响。
2023-10-13 15:40:58
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人