![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spdk
机智帅气的葫芦娃
机智帅气的葫芦娃
展开
-
spark load时的jackson报错
spark load时的jackson报错原创 2022-03-25 11:46:43 · 2925 阅读 · 0 评论 -
ideaij azure datalake相关报错
ideaij azure datalake相关报错原创 2022-03-25 10:42:17 · 2531 阅读 · 0 评论 -
SPDK相关讲解
首先是安装:git clone https://github.com/spdk/spdk.gitcd spdkgit submodule update --init然后是安装相关的库(如果只是安装能把SPDK运行起来的最少需要安装的包,执行第一条;如果安装所有包就执行第二条,推荐第二条):sudo scripts/pkgdep.shsudo scripts/pkgdep.sh --all如果在执行第二条的时候出现有的package在github上download下来失败的错误.原创 2020-12-23 10:10:18 · 2343 阅读 · 3 评论 -
SPDK论文解读
内核的IO栈由于存在context switch、data copy、interrupt、resource synchronization等操作因此会产生大量存储开销,因此如何结果这个性能瓶颈?出现了高性能的工具库(SPDK)。那么SPDK主要是问了解决什么问题呢?减少存储开销。SPDK怎么解决的? 把driver移动到user space,并且用轮询(polling)取代中断(interrupt),同时提供lockless的资源访问。相比较于原始的Kernel NVMe driver的性能有多原创 2020-10-22 21:14:18 · 280 阅读 · 0 评论 -
rocksdb和spdk
对于SSD使用SPDK作为NVMe driver的好处在于实现了用户态、异步、轮询、无锁等特性。与传统Linux内核中的NVMe driver相比,降低了nvme command的rocksdb和SPDK相连必须要使用blobfs才可,可以参见https://spdk.io/doc/blobfs.html首先是下载rocksdb。git clone -b spdk-v5.14.3 https://github.com/spdk/rocksdb.git然后进行编译:(SPDK_DIR表示的是原创 2020-10-19 14:23:18 · 858 阅读 · 2 评论