- 博客(30)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 关于qos理解
服务质量qos开篇先提出几个问题：qos一般的应用场景有什么？qos一般有哪些要求？qos如何去实现，在什么平台，是软件还是硬件层面？qos有哪些现成的案例可以借鉴？qos是什么？先回答qos是什么？一般在网络服务中，如何用有限的资源去服务尽可能多的用户和应用，提供足够低的延迟和足够高的带宽，综合调度不同应用的优先级和应用特点（计算密集型还是数据密集型），来达到系统最优的一种策...
2019-02-28 10:56:23
1608
转载 欢迎使用CSDN-markdown编辑器（转）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-02-28 10:21:31
256
原创 CCF期刊阅读18.1--城市计算和智能
导语城市计算是用大数据和人工智能来实实在在的解决城市面临的各种具体问题。在人工智能呼声越来越高的同事，应该是如何选择发展道路。强人工智能vs弱人工智能强人工智能是基于逻辑和推导的，但发展缓慢，没有形成理论体系；弱人工智能是基于计算的智能，是伴随着摩尔定律的发展，计算，存储等发展起来的。如何将算法和场景更好地结合，商业化，还有很多要做。城市计算和智能城市化导致的人口大量聚集，带来了交通，...
2018-12-04 10:34:25
791
翻译 YCSB-README翻译
概览当前YCSB支持很多数据库包括：HBaseHypertableCassandraCouchbaseVoldemortMongoDBOrientDBInfinispanRedisGemFireDynamoDBTarantoolMemcached…and many others很难决定那个系统适合你的应用，部分因为系统间的特性不同，部分因为没有简单的方法来比较两个系...
2018-11-29 11:35:12
443
论文阅读：efficient and available in-memory KV-store with hybrid erasurecod and repli
内存kv存储加上纠错码和备份的混合设计。问题：说是纠错码用在元数据更新上，很频繁，但PBR模式难道不用频繁更新么？摘要kvstore用在很多网站和数据库系统中，连续应对每秒million级别的请求。保持可用性的措施往往采用primary-backup主从备份。但这样就要将稀缺的内存用在与响应用户请求无关的地方。本文结合纠错码技术和PBR节省内存开销而不降低性能。主要挑战是：内存kvsto...
2018-11-27 14:29:14
324
原创 论文阅读：toward accurate and fast evaluation of multi-stage ls designs
摘要针对leveldb，rocksdb，hbase，COLA，SAMT等MSLS设计，本文提出一种评价方法，可以更准确的判断insert的开销，以及最优的参数配置。detail目标是针对不同MSLS设计，准确的评估模型写放大的效应。而写放大与几个因素有关，重复key会导致总体上写到磁盘上的数据变少；用unique（映射一系列请求与对应的请求中uniquekey的数量）和unique的逆函数定...
2018-11-26 10:54:21
310
原创 论文阅读:implementing flash page reuse with WOM codes
摘要针对的是flash存储的pe寿命问题。WOM代表write-once memory，写之前必须先擦除。而减少块擦除有WOMcodes算法。detail写前擦除的机制，不光会使io本身延迟增加，同时会影响ssd的寿命。WOMcodes在物理写之前，修改逻辑数据，从而允许cell可以再多个写之间重用。增加每个block在必须被擦除之前所保存的数据数量。但是WOMcodes运用在SLC和M...
2018-11-21 10:43:23
308
原创 论文阅读：BTrDB optimizing storage system disign for timeseries processing
相关工作KairosDB，OpenTSDB，Druid摘要高准确率，高流通率的时间序列数据给当前的时间序列数据库带来挑战。本文提出针对遥测时间序列数据的新的抽象和一个提供这种抽象的数据结构，一个时间分区的版本识别的COW树。detail随着IOT的发展，新型的分布式存储逐渐变得重要。遥测系统samplerate要求的越来越高，实时性也要求的高，因此分布式系统的容量和带宽也相应的要提升。...
2018-11-20 14:46:02
360
原创 论文阅读：Isotope:Transactional Isolation for Block Storage
摘要现有的存储栈对block storage期待的太少，本文将事务隔离放到块存储中（额外的还有原子性和持久性），使得上层存储系统更简单，提供更强的语义而不用牺牲性能。（为什么，。。）Isotope在块读写上支持ACID事务，内部Isotope使用新的多版本并行控制协议，实现细粒度的，subblock在工作负载上的并行并且提供严格的序列化和快照隔离保证。同时，本文在Isotope上实现了多个高...
2018-11-20 10:09:40
218
原创 论文阅读：the composite-file FileSystem:Decoupling the one-to-one mapping of files and metadata
问题这三种小文件聚集的方式，或是基于目录，或是基于reference，有没有其他的，在访问时动态变化分组的。摘要逻辑文件到物理元数据之间的映射关系可能被移除。提出了composite-file fs实现file到metadata的多对一的映射关系，提升了性能（什么性能，rename？delete？）。另外这个fs貌似是在ext4上做的封装，底层还是ext4.detailone-to-o...
2018-11-20 09:16:14
212
原创 论文阅读 ｂｔｒｆｓ：ｔｈｅｌｉｎｕｘ ｂｔｒｅｅ ｆｓ
是由ＩＢＭ公司和ｆｕｓｉｏｎｉｏ公司合作进行的。ｆｕｓｉｏｎｉｏ是最早做ＳＳＤ厂商摘要：作为ｌｉｎｕｘ某些版本的默认ｆｓ，支持ＣＯＷ，有效的快照和克隆，使用ｂｔｒｅｅ，设计目标是支持更多的用例和负载。几个挑战：扩展性：在磁盘空间，内存和ｃｐｕ上可扩展数据一致性：不能丢失数据，包括ｃｈｅｃｋｓｕｍ，元数据管理，ＲＡＩＤ。多种磁盘：针对ｓｓｄ和ｈｄｄ都可以很好的适应，给ＲＡＩＤ和条带机制...
2018-11-19 14:51:27
454
原创 论文阅读：optimizing every operation in a write-optimized filesystem
背景介绍WOD-WRITE OPTIMIZED DICTIONARIESWOD包括ｌｓｍｔｒｅｅ及其优化，ｂｅｔｒｔｒｅｅ，ｘｄｉｃｔ，ｃａｃｈｅ－ｏｂｌｉｖｉｏｕｓｌｏｏｋａｈｅａｄ ａｒｒａｙ。ＷＯＤ提供键值接口，支持插入，查询，删除，范围查询比起ｂｔｒｅｅ特点：随机ｋｅｙ插入性能好，删除通过插入ｔｏｍｂｓｔｏｎｅ，ｂｅｔｒ的读性能和ｂｔｒｅｅ一样好，可以以接近磁盘带宽的速度进行范围查...
2018-11-17 12:42:21
245
原创 论文阅读（10）：WOKV
本文是2018年IEEE的协会文章，思路比较简单主要针对的是leveldb的写放大以及memtable unavailable的问题。解决的思路都很直接。写放大问题的原因是compact过程中，leveli某个sstable与leveli+1中键值交叠的sstable，读到内存，重排序，去重等再写回leveli+1的sstable中。本文就是迭代leveli层的sstable，找到与下层ss...
2018-10-28 10:44:24
352
2
原创 论文阅读（9）：lsbmtree
LSbM-tree: Re-enabling Buffer Caching in Data Management for Mixed Reads and Writes本文主要针对的问题是，在如leveldb等传统lsmtree的kvstore中，普通的buffercache会在compact过程之后失效，因为Ci+1层的重排序会导致已经缓存的block位置变化现有的其他替代策略：cach...
2018-10-22 11:28:08
918
原创 论文阅读（8）：slimdb
SlimDB: A Space-Efficient Key-Value Storage Engine For Semi-Sorted DataREN KAI,CMU问题起源：很多应用中，ｋｅｙ不需要完全有序。而是将ｋｅｙ分为ｐｒｅｆｉｘ和ｓｕｆｆｉｘ。范围查询只要将共享一个ｐｒｅｆｉｘ的所有ｅｎｔｒｙ ｉｔｅｒ一遍就可以。经常出现这样的ｗｏｒｋｌｏａｄ叫做ｓｅｍｉｓｏｒｔｅｄ。应用场景：推荐...
2018-10-13 11:02:08
901
原创 论文阅读（7）：flamedb
flamedb：a key-value store with grouped level structure and heterogeneous bloom filter2018 WEI TAO ZHANG 中国科技大学本文主要工作：提出了grouped level structure数据结构减少写放大，group之间的数据无序，为了弥补读性能，提出了heterogeneous bloo...
2018-10-11 10:18:42
434
原创 论文阅读（６）：ｒｌｓｍ
２０１８ ＩＥＥＥNae Young Song and Heon Young YeomDept. of Computer Science and EngineeringSeoul National UniversityEfficient key-value stores with Ranged Log-structured Merge Trees 摘要：针对的还是ＬＳＭ的写...
2018-10-09 16:06:31
497
原创 论文阅读（５）：ｋａｍｌ
KAML: A Flexible, High-Performance Key-Value SSDYanqin Jin 加利福尼亚大学，北卡罗来纳州立大学摘要：现代ｓｓｄ只开放给主机程序一个块ｉｏ的接口，资源没有充分利用。有很多尝试去用针对键值的接口以及内部的事务机制实现提升，但实现的并不好。ＫＡＭＬ：ｋｅｙ－ａｄｄｒｅｓｓａｂｌｅ，ｍｕｌｔｉ－ｌｏｇ。将数据存储为变长记录而不是固定记录。同...
2018-10-09 16:05:56
539
原创 论文阅读（４）：ｅｌａｓｔｉｃＢＦ
ｅｌａｓｔｉｃｂｆ：张月明 中国科技大学 ElasticBF: Fine-grained and Elastic Bloom Filter Towards Efficient Read for LSM-tree-based KV Stores 针对的问题：ｌｓｍ的ｋｖ存储读放大问题很严重，尤其可能查了一遍，并不在ｌｓｍ里。现存的ｂｆ设计都很单一，很难适应动态调整，造成高误判率以及大量内存消...
2018-10-08 16:59:39
458
原创 论文阅读（３）：ｐｅｂｂｌｅｓｄｂ
ｐｅｂｂｌｅｓｄｂ：ｐａｎｄｉａｎ ｒａｊｕ（德克萨斯大学）等 摘要：针对ＬＳＭ写放大问题，依据ｓｋｉｐｌｉｓｔ的概念灵感，提出了ｆｌｓｍ结构。引入ｇｕａｒｄ的概念来管理ｌｏｇ，避免同一ｌｅｖｅｌ内重写数据。本文是在ｈｙｐｅｒｌｅｖｅｌｄｂ的基础上加上ｆｌｓｍ的结构设计。与ｒｏｃｋｓｄｂ以及在ｍｏｇｏｄｂ，ｈｙｐｅｒｄｅｘ中使用ｐｅｂｂｌｅｓｄｂ，在写放大以及写带宽上，均有明显优化。...
2018-10-08 16:58:30
383
原创 论文阅读（２）：ｈａｓｈｋｖ
香港中文大学ｈｅｌｅｎ HashKV: Enabling Efficient Updates in KV Storage via Hashing 针对问题：ｋｖ分离设计中，ｖａｌｕｅｌｏｇ的ｇｃ的效率低下，尤其在ｕｐｄａｔｅ ｉｎｔｅｎｓｉｖｅ负载中。第一：环形日志维持严格ＧＣ顺序，总是在最近的ｋｖ对插入的位置开始进行ＧＣ。会造成不必要的数据移动。第二：ｇｃ需要查询ＬＳＭ来检查ｋｖ...
2018-10-08 16:57:33
1033
原创 论文阅读（１）：ｃｏｃｙｔｕｓ
与ｗｉｓｃｋｅｙｄｂ的关系：借用了ｗｉｓｃｋｅｙｄｂ将ｋｅｙ和ｖａｌｕｅ分离的设计思想，本文将元数据，ｋｅｙ和ｖａｌｕｅ分离，采用混合式的备份策略，实现了可用性和内存效率的同时满足。 主要设计:cocytus,针对不同大小的键值对，采用ＰＢＲ和ｅｒａｓｕｒｅｃｏｄｅ混合的措施保证数据的可用性。 问题来源：在服务器宕机后，即使有持久性存储数据不会丢，但讲上百Ｇ的数据加载到内存中从而提...
2018-10-08 16:55:25
256
原创 寻找自己的路
秋招的这一段时间以来，笔试，面试了很多家公司，心态发生了很大的变化。如果说一开始还有一点自我感觉良好的话，现在则完全没了这样的想法。一切还是要踏踏实实的来，华科研究生，本科上财，完全没办法给自己带来什么实际的帮助，技术，人际关系都是一点一点积累起来的，名头什么一点价值都没有。希望自己从今天开始，可以踏踏实实做学术，做技术，做人，不飘，不浮躁，不贪心，不急躁。一点一点积累，早晚有收获...
2018-09-14 19:26:41
170
原创 bigtable google 论文阅读
结构化数据的分布式存储系统 bigtable摘要：bigtable在google公司内部的多种应用场景，无论是大数据规模，还是实时性高的场景，都能灵活的提供解决方案。应对的是PB级别以上的数据。下面介绍具体的bigtable架构 1.introduction：将bigtable与数据库进行比较，有很多实现策略都很相似。并行数据库和主存数据库都实现了扩展性和高性能。不同的是，bi...
2018-08-23 17:02:44
1219
原创 wisckey论文阅读：在SSD场景中，将key于value分离
摘要:基于持久化LSM树的kv存储，将key与value分离减少写放大性能比起leveldb提升很大1.introduction键值存储在很多应用场景中，都越来越重要。LSM结构比起B树，减少了很多随即写，变成顺序写，提升了性能。而LSM之所以这么成功，是因为与HDD的结合，HDD的顺序IO比起随机IO 快了1000倍。但随着ssd的使用普及，对这种情况造成了一些变化。本文...
2018-08-23 15:36:45
1916
原创 chubby论文-松耦合分布式系统的chubby锁服务
google公司论文分布的一致性问题：一组process每个人提出一个value，所有process能选出一个value并通知到所有process。(问题本身不难，有一个server做决策。但网络，节点的不稳定性使问题变得复杂。有效的算法代表为paxos。)chubby也是解决这个问题的一个小工具。例如在GFS的server选主过程中，所有server到chubbyserver上创建同一个文件...
2018-08-23 15:35:47
564
原创 paxos-protocol论文阅读
三个角色：proposers,acceptors,learners 提议有两个阶段，proposer向acceptor发出prepare阶段，proposer向acceptor发出accept阶段。最后learner根据acceptor的状态学习到一致状态。 提议包括提议编号n，提议内容v 第一阶段a：proposer向所有acceptor广播提议n，第一阶段b：a...
2018-08-23 15:34:49
1098
原创 剑指offer（1）
1.旋转数组的最小数字：题目描述把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。 输入一个非减排序的数组的一个旋转，输出旋转数组的最小元素。 例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。 NOTE：给出的所有元素都大于0，若数组大小为0，请返回0。本题在leetcode有两个阶段的难度。一是数组中数字无重复。那么本题是典型...
2018-08-02 17:51:24
115
原创 备战秋招
现在已经8月了，秋招马上就会开始。还有很多需要准备，在这里梳理一下，方便之后监督自己。1.学习云存储知识，有基本现成的书，主要几个工具的学习与使用吧，ceph，leveldb，memcache。2.云存储论文的学习，之后做毕业设计会需要很多相关知识，没有一定理论积累是不行的。3.整理算法，软件开发基础知识，写成博客，展示给面试官。4.整理项目经历，虽然可能技术含量不高，但也要把项目...
2018-08-01 16:09:12
266
原创 2.27
确定方向：春招是来不及了，为秋招做好准备。职位定两个方向，一是C++研发，一是机器学习算法。C++主要补充基础知识，数据结构以及算法的了解，看看面试题。而机器学习算法，是自己比较偏向的工作，但要求更多对机器学习算法，数学原理的了解，要求更高，主要使用python吧。python变成环境，jupyter 操作简便，显示易懂。shift加右键 显示终端。目录路径输入cmd可以从当前目录进入终端。c++...
2018-02-27 23:05:28
98
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人