分布式存储与计算
战辉
一直从事自然语言处理(NLP),对于自然语言生成、机器翻译、语言模型等研究较多
展开
-
Graph Databases—Chapter1 Introduction阅读笔记
Graph Databases顾名思义,是一种建立在图关系上的数据库,简称“图数据库”。图数据库最重要的一点是强调“关系”,如何对关系进行建模,决定了图数据库的成败。图数据库是目前以及未来一种趋势,对于社交网络、推荐引擎等都是至关重要的,它提供底层的数据支持,是关系整个系统性能瓶颈的重要技术。原创 2013-12-09 17:15:32 · 2175 阅读 · 0 评论 -
Graph Databases—Chapter 3 Graphs and Connected Data阅读笔记
本章内容: 着重讲述聚合存储(Key-Value,Documents, Bigtable)以及RDBMS(关系型数据库)在处理互有联系数据时查询延时高、开发成本高以及维护困难等缺点。从而引出图数据库用于处理互有联系数据的优点,查询延时性低、拓展性高、维护成本低等。目前图数据库还未广泛流行。原创 2013-12-13 11:51:51 · 1258 阅读 · 0 评论 -
Graph Databases—Chapter 2 The NOSQL Phenomenon阅读笔记
第二章着重讲述了NOSQL的设计原则以及分类,同时需要知道Key-Value、Document以及BigTable三个存储系统都很难解决互有联系的数据。本章是为了引出Graph DB做铺垫。原创 2013-12-10 20:29:36 · 1302 阅读 · 0 评论 -
Graph Databases—Chapter 4 Working with Graph Data阅读笔记
本章内容: 着重讲述图数据库模型设计的原则、Neo4j的语言Cypher、建立数据库注意事项等。本章的内容对于入门图数据库很重要,为以后使用图数据库打下良好的基础。原创 2013-12-14 18:02:03 · 1453 阅读 · 0 评论 -
Facebook照片缓存分析
今天听了一个学术报告,报告的名称是《Facebook照片缓存分析》,报告人是黄琦,来自于美国康奈尔大学。据听说,目前facebook总共有2500亿照片,提供缓存的机器达几千台,提供存储的机器达1万2千台左右。缓存在系统中的重要性不言而喻,访问存储在磁盘上的数据速度慢,且耗费很大的带宽。在设计缓存系统的时候,要注意几点:1)延时 2)命中率 3)带宽。原创 2013-12-10 18:26:34 · 3047 阅读 · 0 评论 -
levelDB—初识levelDB
levelDB是一个google实现的非常高效的key-value数据库,是能够处理十亿级别规模Key-Value型数据持久性存储的C++程序库。原创 2013-12-01 22:35:03 · 1969 阅读 · 0 评论 -
levelDB—整体架构介绍
levelDB的整体架构见下图1。总体而言分内存和磁盘两部分。 1:memtable:内存中存放key-value的数据结构 2:Immutable memtable:是memtable的副本,一模一样,除了该table只不过是可读的,不能写入。 3:log:日志文件。 4:sstable manifest current:磁盘中存放key-val原创 2013-12-05 14:11:45 · 3219 阅读 · 0 评论 -
Graph Databases—Chapter 5 Graph Databases 阅读笔记
转载请注明:本章内容概括: 首先讲述Graph Database的含义,论述了两个图模型的优缺点。其次,讲解了Neo4j的框架结构,接下来详细讲解了各个模块的设计。讲解的顺序是自下而上,从结点的设计、关系的设计到缓存结构,进而到上层接口。最后讲解了处理图数据库的框架结构Pregel。----------------------------------------------原创 2013-12-24 17:11:18 · 2365 阅读 · 0 评论