Distributed System Projects
文章平均质量分 78
Firehotest
这个作者很懒,什么都没留下…
展开
-
Distributed System: Consensus Algorithms
对于分布式系统的出现,是计算机系统从个人到团体的演化。所以,到团队合作之后,交流与沟通变得异常的重要。如何保持团队的步伐一致(consistency),成了一个很重要的问题。分布式系统的consensus algorithm的演化分为以下几个步骤:1) Two phase commitment 在二阶段提交和三阶段提交当中,需要有一个coordinator,其余原创 2017-03-02 13:26:16 · 1032 阅读 · 0 评论 -
Distributed System: Naming Service (命名服务)
About Naming Service:Name Space (命名空间):在一个特定空间内,某一资源(文件、网页、音乐、图像等)具有全局唯一的标识符URI(名字)。例如,目前的互联网(Internet)就是最大的一个Namespace. 命名的分类:Flat or Hierarchy. 前面的可以用类似于:Hash Code或者C++的某个命名空间内的变量名、类名来举例原创 2017-04-27 05:11:20 · 3202 阅读 · 0 评论 -
Distributed System: DFS系列 -- NFS, AFS & HDFS(GFS)
分布式文件系统是分布式系统的基石,本文从较上层的高度对常见的三个分布式文件系统:NFS、AFS和HDFS进行介绍。分布式文件系统有两大模式:1) Remote Access Model.在这种模式下,非本地文件不会复制到本地,所以对非本地文件的读取和修改,利用RPC进行。利用这种模式,可以减少对consistency的考虑(适用于对consistency要求高的原创 2017-04-05 10:38:15 · 9837 阅读 · 0 评论 -
Distributed System: Message (信息传递) and JMI
Message机制的动机:为什么要用Message作为不同的计算机的进程间的通信机制?目的在于——松耦合 (Decoupled)。我们需要一种机制,既能Decoupled in time(即通信的时候,双方不需要同时在线。电话是coupled in time,短信则是decoupled in time),同时也能Decoupled in space(你不需要知道你的通信对象是谁,不需要原创 2017-04-28 02:31:36 · 580 阅读 · 0 评论 -
Distributed System: Hadoop MapReduce框架的角色和Job提交过程
Map/Reduce计算集群由一个单独的JobTracker(master) 和每个集群节点一个 TaskTracker(slave)共同组成。JobTracker负责调度构成一个作业的所有任务,这些任务会被分派到不同的TaskTracker上去执行,JobTracker会监控它们的执行、重新执行已经失败的任务。(失败重启由JobTracker确保)而TaskTracker转载 2017-04-09 22:31:39 · 609 阅读 · 0 评论 -
Distributed System: Storm 的基础介绍
以下内容来自:http://www.cnblogs.com/Jack47/p/storm_intro-1.html 与 http://www.cnblogs.com/swanspouse/p/5135679.htmlStorm的官方介绍:Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,St转载 2017-04-09 22:20:30 · 484 阅读 · 0 评论 -
Distributed System: MapReduce 可调参数与优化方向
参考前一篇文章:http://blog.csdn.net/firehotest/article/details/69498843我们可以知道,MapReduce的详细流程如下:将InputFile进行Split之后,每个Split的块对应一个Mapper。默认的块大小和Block大小一致,64MB。然后通过Record Reader进行字节流到初始KV对的转换。譬如Word转载 2017-04-09 10:58:32 · 652 阅读 · 0 评论 -
Distributed System: 常见的分布式计算工具以及MapReduce详解
参考链接:https://www.zhihu.com/question/198503651:MapReduce(MR),最为general和流行的一个分布式计算框架,其开源实现Hadoop已经得到了极为广泛的运用(Facebook, Yahoo!等等),同时在Hadoop基础上发展起来的项目也有很多(Hive是发展最好的),另外像Cloudera,Hortonworks,MapR这样的转载 2017-04-09 08:25:16 · 2249 阅读 · 0 评论 -
Distributed System Project II: 一些笔记
读取Soctket用的DataInputStream和DataOutputStream类:可以以编码的形式读写:readUTF() 和 writeUTF(String str),也可以使用byte:public final int read(byte[] b)public void write(byte[] b)这样做需要考虑byte数组的越界问题,首先你需要创原创 2017-03-06 22:25:42 · 364 阅读 · 0 评论 -
Distributed System: ZooKeeper系列之四 (Hadoop和HBase的应用)
这期文章,参考Linux 爱好者公众号的文章《ZooKeeper原理及其在Hadoop和Hbase中的应用》而归纳整理的。理解一下内容之前,先提一句,ZooKeeper节点一般不与Master节点放在一个物理节点下,为了分担压力。在Ambari建立集群的时候,记忆中似乎是要强制分开两者到不同的物理节点上。Hadoop(HDFS,YARN和HBase): 在Had转载 2017-03-18 23:08:32 · 574 阅读 · 0 评论 -
Distributed System: ZooKeeper系列之三 (Master选举和分布式锁)
这期文章,参考Linux 爱好者公众号的文章《ZooKeeper原理及其在Hadoop和Hbase中的应用》而归纳整理的。其实,Master的选举和分布式锁属于ZooKeeper实现的分布式系统的功能。下面继续来讲讲这两个常用的应用场景。Master选举:Master选举可以说是ZooKeeper最典型的应用场景了。比如HDFS中Active N转载 2017-03-18 22:13:46 · 1254 阅读 · 0 评论 -
Distributed System: ZooKeeper系列之二 (功能)
上期在文章 http://blog.csdn.net/firehotest/article/details/60312648 简要解释了ZooKeeper的来源及其ZAB的应用。是在PAXOS的状态机模型下,更加注重更改的任务顺序与用户的请求顺序一致的“先来后到”。这期文章,参考Linux 爱好者公众号的文章《ZooKeeper原理及其在Hadoop和HBase中的应用》而归纳整理的。转载 2017-03-18 12:05:07 · 447 阅读 · 0 评论 -
Distributed System: ZooKeeper系列之一 (组件)
这期文章,参考Linux 爱好者公众号的文章《ZooKeeper原理及其在Hadoop和HBase中的应用》而归纳整理的。集群的节点角色在ZooKeeper中,有三种角色:LeaderFollowerObserver一个ZooKeeper集群同一时刻只会有一个Leader,其他都是Follower或Observer。默认情况下,在确定了Leader之后(转载 2017-03-18 11:38:48 · 573 阅读 · 0 评论 -
Distributed System: Zookeeper 和 PAXOS
Zoopkeeper是由雅虎发明,google开源的分布式系统一致性解决方案。ZAB(ZooKeeper Atomic Broadcast,ZooKeeper原子消息广播协议)可算是最广泛应用的分布式一致性协议了,其是基于Paxos算法改善的分布式系统数据一致性协议。ZAB强调的是事务严格按照客户端请求的顺序提交,而Paxos注重的是一个状态机模型,一致性协议保证所有的状态机副本以相同原创 2017-03-04 08:55:13 · 472 阅读 · 0 评论 -
System Design: How to design a tiny URL
At first glance, this problem seems to very easy. We can solve it with a HashMap. However, if you think it more deeper, you will find out HashMap approach does not have scalablity and persistenc原创 2017-09-28 03:33:13 · 1601 阅读 · 0 评论