科研生活
文章平均质量分 89
Meditator_hkx
即将毕业,走上工作岗位。会在博客里分享一些学习、求职、工作工程中的心得体会。
展开
-
NVWAL 非易失Write-Ahead Log设计
序言在之前写的一些文章中,我已经粗略地介绍了新型非易失内存NVM的特点及潜在的应用能力,以及数据库科学家是如何考虑将NVM引入到DBMS的设计中来的。今天,我再分享一篇论文的心得,它介绍的是单纯将NVM用作数据库系统的logging存储介质时存在的问题以及解决方案。论文原文链接如下: NVWAL: Exploiting NVRAM in Write-Ahead Logging背景简介在介绍这篇论文原创 2016-09-25 16:53:46 · 1779 阅读 · 0 评论 -
分布式持久内存文件系统Octopus(ATC-17 )分析(三)
清华课题 Octopus 源码分析(三)前言论文摘要设计框架源码分析include 头文件src 源文件fs 模块net 模块client 模块tools 模块文件依赖关系分析函数依赖关系分析典型工作流程清华课题 Octopus 源码分析(三)前言由于项目工作的需要,我们团队阅读了清华在文件系统方面的一个比较新颖的工作:Octopus...原创 2018-03-19 22:38:22 · 858 阅读 · 0 评论 -
分布式持久内存文件系统Octopus(ATC-17 )分析(五)
清华课题 Octopus 源码分析(五)前言论文摘要设计框架src目录源码分析fs 模块TxManager.cppfilesystem.cpp清华课题 Octopus 源码分析(五)前言由于项目工作的需要,我们团队阅读了清华在文件系统方面的一个比较新颖的工作:Octopus。Octopus是一个基于持久内存 NVM 和远程直接内存访问 RDMA...原创 2018-03-22 18:49:47 · 1348 阅读 · 0 评论 -
分布式持久内存文件系统Octopus(ATC-17 )分析(二)
清华课题 Octopus 源码分析(二)前言论文摘要设计框架源码分析include 头文件Configuration.hppcommon.hppbitmap.hppdebug.hpplock.htable.hppglobal.hmempool.hpphashtable.hppstorage.hppfilesystem.hppTxManager.hppRdma...原创 2018-01-30 13:04:28 · 2204 阅读 · 3 评论 -
分布式持久内存文件系统Octopus(ATC-17 )分析(一)
清华课题 Octopus 源码分析一前言论文摘要设计框架源码分析清华课题 Octopus 源码分析(一)前言由于项目工作的需要,我们团队阅读了清华在文件系统方面的一个比较新颖的工作:Octopus。Octopus是一个基于持久内存 NVM 和远程直接内存访问 RDMA 技术的分布式内存文件系统。清华的陆游游老师现已将代码开源,可 点击此处 阅读。这一工作原创 2018-01-25 21:45:46 · 4078 阅读 · 3 评论 -
非易失内存NVM一致性(Consistency)问题研究(2)
NVM概述新型非易失性存储介质,诸如闪存(flash) 、相变内存(phase-change memory, PCM) 、可变电阻式内存(ReRAM)等,可同时提供传统硬盘等外部存储器的数据持久化能力和接近动态随机访问内存(DRAM)等内部存储器的存取性能。非易失性内存介质及其软硬件系统共同构成持久性内存(persistent memory)系统, 可以融合传统易失性内部存储和非易失性外部存储的优良原创 2017-03-04 14:53:15 · 3742 阅读 · 3 评论 -
H-Store科研入门(3)- 配置参数
写在前面Properties文件全部参数配置写在前面因为我的科研方向是内存数据库机制设计,所以就选了经典的高性能分布式内存数据库(也是关系数据库)来作为研究的工具基础,以期做出足够大贡献的改进。H-Store是由MIT,CMU,Brown大学联合开发的用于学术的分布式内存数据库,它的商业版本是voltDB。H-Store是开源的,所以你可以完全可以研读它的源码,做出任意的修改并发布。H-Stor原创 2016-12-21 22:24:40 · 671 阅读 · 0 评论 -
H-Store科研入门(1)
写在前面因为我的科研方向是内存数据库机制设计,所以就选了经典的高性能分布式内存数据库(也是关系数据库)来作为研究的工具基础,以期做出足够大贡献的改进。H-Store是由MIT,CMU,Brown大学联合开发的用于学术的分布式内存数据库,它的商业版本是voltDB。H-Store是开源的,所以你可以完全可以研读它的源码,做出任意的修改并发布。原创 2016-11-09 21:18:49 · 1599 阅读 · 5 评论 -
H-Store科研入门(2)
写在前面H-Store Benchmarktm1tpccycsb机器信息命令行hstore使用启动server原创 2016-12-14 21:38:02 · 1413 阅读 · 0 评论 -
Page Differential Logging: 页差分读写技术(二)
写在前面最近在阅读到一篇2016年ASPLOS会议论文NVWAL:Exploiting NVRAM in Write-Ahead Logging时,发现它提出使用了differential logging这项技术。我对此感到十分好奇,便google了一下这个术语,发现它的原型是在2010年SIGMOD的一篇文章上Page-Differential Logging: An Efficient and原创 2016-10-20 18:30:38 · 640 阅读 · 0 评论 -
Page Differential Logging: 页差分读写技术(一)
写在前面最近在阅读到一篇2016年ASPLOS会议论文NVWAL:Exploiting NVRAM in Write-Ahead Logging时,发现它提出使用了differential logging这项技术。我对此感到十分好奇,便google了一下这个术语,发现它的原型是在2010年SIGMOD的一篇文章上Page-Differential Logging: An Efficient and原创 2016-10-19 21:10:30 · 759 阅读 · 0 评论 -
非易失内存NVM一致性(Consistency)问题研究(1)
写在前面现在团队项目基于NVM的内存管理走到了一个瓶颈区,我的着眼点逐渐迁移到持久内存的一致性问题上来。关于NVM的相关基础知识,我在之前的博客中有过不少介绍,比如一种新型内存SCM(Storage Class Memory)的简单介绍和一种新型内存(SCM)的简单应用思考。一致性历来是做存储系统(比如文件系统,数据库系统)的重中之重,但却一直不是内存管理方面的重点,然而在引进NVM到内存管理中却又原创 2016-11-09 22:29:53 · 3662 阅读 · 6 评论 -
H-Store:一种分布式内存数据库管理系统
本文主要是从学术而非商业数据库实践的角度来介绍分布式DBMS H-Store。H-Store是由Brown,MIT,CMU联合开发并在MIT的实验室成功部署实现的。H-Store的研究者对外界公布的关于H-Store的论文主要是以下两篇:The end of an architectural era, VLDB’07H-Store: A High-Performance, Distribut原创 2016-10-04 19:53:19 · 4152 阅读 · 1 评论 -
Anti-Caching:一种新型数据库管理系统架构
1.写在前面之前的三篇博文主要介绍了NVM(Non-Volatile Memory)和数据库相关的内容。NVM因其读写性能接近DRAM、可字节寻址、非易失、大容量等特点,在计算机科学的许多领域都具有非常身后的发掘潜力。而我目前研究的数据库方向只是NVM所应用的一个小小的领域分支而已。上一篇博客介绍了两篇论文,它们都是将已有的数据库系统(或者是将该系统的某种机制)重新实现在NVM架构上,进行一番讨论,原创 2016-07-30 20:08:55 · 3540 阅读 · 4 评论 -
一种新型内存SCM(Storage Class Memory)的简单介绍
众所周知,在传统的计算机体系结构中,内存架构是层级制的。 从片上的寄存器内存-高速缓存(cache),到片外的主存(DRAM),以及磁盘(disk)。不同的计算机*硬件厂商可能在具体的等级划分数目上有所不同,但大体结构并无二致。* 比如,有的cache做成三层,有的做成两层。再比如,有些会在内盘与磁盘之间加一个SSD cache,作为磁盘缓存。 缓存技术是计算机内存技术中非常关键的原创 2016-07-10 11:12:41 · 16770 阅读 · 0 评论 -
一种新型内存(SCM)的简单应用思考
在上一篇博客中,我们介绍了SCM的产生及其所具有一些特点,并初步展望了它在实际中可能存在的应用场景和巨大潜力。 SCM(Storage-class Memory),它具有大容量、非易失、可字节寻址、存取速度快(几乎与DRAM相当)的突出优势,这使得SCM取代磁盘disk及固态硬盘SSD成为了可能。甚至在不远的将来,当SCM的存取性能超越DRAM,它还可以彻底改变现有的存储器体系结构。原创 2016-07-16 13:05:56 · 3790 阅读 · 1 评论 -
利用NVM(Non-Volatile Memory)实现新型数据库系统
1.写在前面本博客的内容是前两篇介绍SCM内存基础与应用的后续,主要结合两篇论文来介绍利用SCM(Storage-Class Memory, 又称NVM)重新实现DBMS(DataBase Management System),并针对SCM的大容量、持久存储、可字节寻址等特性做相应的改良与优化,提升数据库系统的整体性能。回顾NVM的特性,如下图所示: 关于数据库系统的基础部分学习,链接如下: D原创 2016-07-25 12:52:27 · 9801 阅读 · 6 评论 -
这一年的学习/科研生涯回顾(非纯技术文)
不知不觉间,大学四年时光悄然而逝。我也已经正式成为了一名研究生,在科研之路上也小小地迈步向前了。但是回过头来去想这一年所做的事,却没有太大的满足感和成就感,心头仍然笼罩着不知所向的阴霾。因此,我想通过简单地梳理过去的所做所思所感,给今天的自己一点回味,一点启发,也让我记住:从前的光阴,没有白费,更应该珍惜眼前短暂的时光,早出成果。迟到的开始我虽然确定保研的时间比较早,在大二下学期完时就没有什么悬念。原创 2016-09-16 15:26:25 · 1949 阅读 · 2 评论 -
分布式持久内存文件系统Octopus(ATC-17 )分析(四)
清华课题 Octopus 源码分析四前言论文摘要设计框架src目录源码分析fs 模块bitmapcpplockcpphashtablecppstoragecppTxManagercppfilesystemcpp清华课题 Octopus 源码分析(四)前言由于项目工作的需要,我们团队阅读了清华在文件系统方面的一个比较新颖的工作:Octopus。Octopus是一个基于持久内存 N原创 2018-03-20 20:56:43 · 1192 阅读 · 0 评论