分布式
sunmenggmail
这个作者很懒,什么都没留下…
展开
-
数据库的拆分
http://blog.csdn.net/bluishglc/article/details/6161475本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文:数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 一、基本思想 Sharding的基本思想就要把一个数据库切分转载 2012-11-27 12:54:13 · 7613 阅读 · 0 评论 -
Map-Reduce的过程解析
http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的:public static RunningJob runJob(J转载 2014-01-23 11:34:33 · 1084 阅读 · 0 评论 -
MapReduce源码分析总结
http://blog.csdn.net/HEYUTAO007/article/details/5725379参考: 1 caibinbupt的源代码分析http://caibinbupt.javaeye.com2 coderplay的avaeye http://coderplay.javaeye.com/blog/295097http://coderplay.javaey转载 2014-01-23 11:35:50 · 824 阅读 · 0 评论 -
Elasticsearch
http://blog.csdn.net/laigood/article/details/7354779最后发现了elasticsearch这个分布式搜索框架,我一看它的介绍就觉得,就是它了。它基本上所有我想要的特性都包含了,分布式搜索,分布式索引,零配置,自动分片,索引自动负载,自动发现,restful风格接口。于是就开始使用,部署了四台机器,并把索引导了进去,我设置的分片为3,即把转载 2014-01-18 10:09:42 · 1074 阅读 · 0 评论 -
关系数据库和nosql
http://www.infoq.com/cn/news/2011/01/relation-db-nosql-dbhttp://www.infoq.com/cn/news/2011/01/nosql-whyNoSQL概念随着web2.0的快速发展,非关系型、分布式数据存储得到了快速的发展,它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来转载 2014-01-18 11:09:21 · 9253 阅读 · 0 评论 -
leveldb简介
leveldb是单机的kv数据库,支持持久化,支持range遍历,写入性能高,但是读性能略差。写入是顺序io, 读是随机io可以这样理解,对数据库的写入,删除和更新都只是在后面添加数据,然后过段时间之后执行merge操作,清理数据。http://blog.sina.com.cn/s/blog_999d1f4c01010e51.html在内存中转载 2014-01-27 10:52:12 · 788 阅读 · 0 评论 -
NoSQL架构实践
http://www.cnblogs.com/sunli/archive/2011/02/21/1959505.htmlhttp://www.cnblogs.com/sunli/archive/2011/03/31/nosql-architecture-practice_3.html1. nosql为辅(一)NoSQL作为镜像 不改变原有的以MyS转载 2014-01-18 11:25:42 · 1048 阅读 · 0 评论 -
Redis和Memcache对比及选择
http://www.cnblogs.com/EE-NovRain/p/3268476.html我这段时间在用redis,感觉挺方便的,但比较疑惑在选择内存数据库的时候到底什么时候选择redis,什么时候选择memcache,然后就查到下面对应的资料,是来自redis作者的说法(stackoverflow上面)。 You should not care too much转载 2014-07-01 09:53:40 · 71236 阅读 · 3 评论 -
redis cluster
http://www.cnblogs.com/foxmailed/p/3630875.htmlRedis Cluster 是Redis的集群实现,内置数据自动分片机制,集群内部将所有的key映射到16384个Slot中,集群中的每个Redis Instance负责其中的一部分的Slot的读写。集群客户端连接集群中任一Redis Instance即可发送命令,当Redis Insta转载 2014-09-17 18:10:46 · 684 阅读 · 0 评论 -
zookeeper
http://nileader.blog.51cto.com/1381108/1040007ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归转载 2015-01-07 13:30:09 · 1174 阅读 · 0 评论 -
分布式队列
转载请注明出处:http://jameswxx.iteye.com/blog/2034111 本来只是想看下metaq的文档,结果发现好乱,现在metaq其实有两个大分支了,一个是庄晓丹维护的已开源的,另外一个是淘宝内部的,本质结构原理没太大区别,只不过开源的已经去掉了对淘系相关的依赖。然后淘系的metaq已经到3.*版本了,但是文档比较乱,深入到细节时,发现好乱,一个点有好几种转载 2015-01-08 19:56:38 · 1534 阅读 · 0 评论 -
无锁队列的实现
http://coolshell.cn/articles/8239.html无锁队列的链表实现EnQueue(x) //进队列{ //准备新加入的结点数据 q = new record(); q->value = x; q->next = NULL; do { p = tail; //取链表尾指针的快照 } wh转载 2013-06-04 14:14:17 · 1163 阅读 · 0 评论 -
分布式计算与机器学习
也算探索了几个月吧,在给自己定位。定位是,分布式系统,机器学习,自然语言处理,计算广告,推荐。这里的分布式不是指基础计算平台,比如分布式存储之类的,而是指分布式计算。公司不像实验室可以给你一个高性能的巨型计算机,一个T的内存,几十个高性能CPU,在这个环境下,只需要像普通pc编写程序即可。公司有的是几千台普通电脑,用些电脑实现分布式计算。而这里的分布式有两种原创 2013-04-07 22:06:53 · 3201 阅读 · 2 评论 -
一致性hash算法
http://blog.csdn.net/v_july_v/article/details/6879101问题描述: 例如手机朋友网有n个服务器,为了方便用户的访问会在服务器上缓存数据,因此用户每次访问的时候最好能保持同一台服务器。已有的做法是根据ServerIPIndex[QQNUM%n]得到请求的服务器,这种方法很方便将用户分到不同的服务器上去。但是如果一台服务器死掉了转载 2012-11-27 14:57:06 · 1681 阅读 · 0 评论 -
Google Protocol Buffer 的使用和原理
简介什么是 Google Protocol Buffer? 假如您在网上搜索,应该会得到类似这样的文字介绍:Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Pro转载 2012-12-26 13:05:19 · 691 阅读 · 0 评论 -
twitter的分布式照片存储系统
http://engineering.twitter.com/2012/12/blobstore-twitters-in-house-photo.htmlBlobstore: Twitter’s in-house photo storage systemMillions of people turn to Twitter to share and discover翻译 2012-12-12 20:02:06 · 971 阅读 · 0 评论 -
分布式设计与开发
http://blog.csdn.net/cutesource/article/details/5811914在IDF05(Intel Developer Forum 2005)上,Intel首席执行官Craig Barrett就取消4GHz芯片计划一事,半开玩笑当众单膝下跪致歉,给广大软件开发者一个明显的信号,单纯依靠垂直提升硬件性能来提高系统性能的时代已结束,分布式开发的时代实际上转载 2012-12-16 15:04:05 · 958 阅读 · 0 评论 -
开源日志系统
http://dongxicheng.org/search-engine/log-systems/1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统转载 2012-12-16 15:09:59 · 634 阅读 · 0 评论 -
Twitter Snowflake
http://blog.yxwang.me/2012/08/twitter-snowflake/这是一篇两年前 Twitter 开发团队写的文章,今天挖出来研究了一下。原文地址 http://engineering.twitter.com/2010/06/announcing-snowflake.htmlTwitter 早期用 MySQL 存储数据,随着用户的增长,单一转载 2013-01-03 19:12:45 · 5823 阅读 · 0 评论 -
Python标准模块logging
http://blog.csdn.net/fxjtoday/article/details/6307285#import loggingimport syslogger = logging.getLogger("endlesscode")formatter = logging.Formatter('%(name)-12s %(asctime)s %(levelname)-8s转载 2013-01-23 21:35:16 · 1823 阅读 · 0 评论 -
Java远程方法调用
主要参考http://www.kaixinwenda.com/article-yxc135-7690958.htmlhttp://bbs.chinaunix.net/thread-1179312-1-1.htmlJava 远程处理 Java远程方法调用(RMI)提供了Java程序语言的远程通讯功能,这种特性使客户机上运行的程序可以调用远程服务器上的对象,使Java转载 2013-01-26 10:09:29 · 8739 阅读 · 0 评论 -
Seafile - 最好的 Dropbox 开源替代,面向团队而设计
http://forum.ubuntu.org.cn/viewtopic.php?f=54&t=399102* 产品主页 http://seafile.com * Github 项目主页 https://github.com/haiwen/seafile Seafile 是一个文件同步和协作平台。它有 Dropbox 类似的文件同步功能, 但是针对团队文件同步和转载 2013-01-28 12:39:44 · 2638 阅读 · 0 评论 -
实现java RPC框架
http://javatar.iteye.com/blog/1123915主要利用socket通信,反射,代理实现类似RMI的RPC框架首先是框架的代码package framework;import java.io.ObjectInputStream;import java.io.ObjectOutputStream;import java.lang.refl转载 2013-01-27 00:25:28 · 11474 阅读 · 3 评论 -
yarn
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路:首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-reduce 框架的中转载 2015-01-05 09:37:10 · 3423 阅读 · 0 评论