Distributed
文章平均质量分 72
wh62592855
这个作者很懒,什么都没留下…
展开
-
Google File System
Google File SystemDesignGFS is optimized for Googles core data storage and usage needs (primarily the search engine), which can generate enormous amounts of data that needs to be retained转载 2010-04-30 11:12:00 · 905 阅读 · 0 评论 -
Spark, Shark, and RDDs
Spark and Shark are interesting alternatives to MapReduce and Hive. At a high level:Rather than persisting data to disk after every step, as MapReduce does, Spark instead writes to something calle转载 2013-04-24 21:39:50 · 7162 阅读 · 0 评论 -
多版本并发控制(MVCC)在分布式系统中的应用
本文转自http://coolshell.cn/articles/6790.html问题最近项目中遇到了一个分布式系统的并发控制问题。该问题可以抽象为:某分布式系统由一个数据中心D和若干业务处理中心L1,L2 … Ln组成;D本质上是一个key-value存储,它对外提供基于HTTP协议的CRUD操作接口。L的业务逻辑可以抽象为下面3个步骤:read: 根据ke转载 2012-03-13 11:37:53 · 1045 阅读 · 0 评论 -
Thrift 简介
Thrift是一个跨语言服务部署框架,最初由Facebook于2007年开发,后于2008年进入Apache孵化器(Apache Incubator)。类似于SOAP,COM 和CORBA,Thrift通过定义一个中间定义语言和Thrift代码生成工具,生成指定语言的代码。目前,Thrift支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell原创 2011-05-24 14:45:00 · 3166 阅读 · 1 评论 -
并行编程方式:OpenMP + MPI +Mapreduce
http://redtreewood.blogspot.com/2009/10/openmp-mpi-mapreduce.htmlOpenMP:OpenMp是线程级别的,共享是存储,只适应用于共享总线与内存,单一操作系统映像的SMP机器和DSM机器。可扩展性比较差,对机器的要求比较高。一般双核的机器(很多CPU共享内存条)适合用OpenMP,可以提高一定的运行速度。这个在科学计转载 2011-12-16 09:02:07 · 3293 阅读 · 0 评论 -
Spark与Hadoop计算模型比较分析
本文转自http://blog.csdn.net/datascientist/article/details/7089127最近很多人都在讨论Spark这个貌似通用的分布式计算模型,国内很多机器学习相关工作者都在研究和使用它。Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢?1转载 2011-12-22 11:41:40 · 2202 阅读 · 0 评论 -
A Comparision of Approaches to Large-Scale Data Analysis(译)
作者:Andrew Pavlo &Erik Paulson etc. 2009-6原文:http://db.csail.mit.edu/pubs/benchmarks-sigmod09.pdf译者:phylips@bmy 2011-10-4译文:http://duanple.blog.163.com/blog/static/7097176720119701941950/转载 2011-12-12 11:27:28 · 2445 阅读 · 0 评论 -
哈希分布与一致性哈希算法简介
前言在我们的日常web应用开发当中memcached可以算作是当今的标准开发配置了。相信memcache的基本原理大家也都了解过了,memcache虽然是分布式的应用服务,但分布的原则是由client端的api来决定的,api根据存储用的key以及已知的服务器列表,根据key转载 2010-08-02 19:50:00 · 1518 阅读 · 0 评论 -
分布式系统领域经典论文翻译集
分布式 海量数据 存储 计算 查询转载 2011-08-08 23:20:05 · 2019 阅读 · 0 评论 -
Paxos算法
Paxos算法转载 2011-04-15 10:45:00 · 1472 阅读 · 0 评论 -
Yahoo!的分布式数据平台PNUTS简介及感悟
Yahoo!的分布式数据平台PNUTS简介及感悟转载 2011-04-14 17:36:00 · 2009 阅读 · 0 评论 -
分布式文件系统MFS安装配置及使用
分布式文件系统MFS安装配置及使用转载 2011-04-12 14:02:00 · 2615 阅读 · 1 评论 -
一种特殊的一致性哈希算法的研究
一致性哈希 虚拟节点转载 2010-11-07 21:00:00 · 1291 阅读 · 0 评论 -
資料庫系統是榔頭; MapReduce 則是螺絲起子
資料庫系統是榔頭; MapReduce 則是螺絲起子转载 2010-10-20 14:30:00 · 1559 阅读 · 1 评论 -
amoeba- mysql
amoeba- mysql转载 2010-10-11 17:18:00 · 3053 阅读 · 1 评论 -
MapReduce
MapReduce is a <a title="Software patent" href="http://en.wikipedia.org/wiki/Software_patent" title="Software patent">patented[1] software framework introduced by Google to support d转载 2010-04-30 11:07:00 · 768 阅读 · 0 评论 -
Storm安装部署步骤
本文转自量子恒道官方博客:http://blog.linezing.com/2013/01/how-to-install-and-deploy-storm-cluster本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。3.1 Storm集群组件Storm集群转载 2013-04-22 14:14:36 · 2210 阅读 · 0 评论