Hadoop
文章平均质量分 85
SmileySure
这个作者很懒,什么都没留下…
展开
-
GFS-Google论文阅读笔记
众所周知,Hadoop的存储基础,HDFS分布式文件系统,是按照GFS的思想实现的。 本文参考:Google File System 中文版 1.0 版 译者 alex,原文地址 http://blademaster.ixiezi.com/ GFS是面向大规模数据密集型应用的,可伸缩的分布式文件系统。重要设计思路设计概述1 设计预期2 接口3 架构4 单一Master节点原创 2017-09-24 17:34:08 · 1644 阅读 · 0 评论 -
Google MapReduce - 阅读拾遗
MapReduce 之前用的和学的都比较多了,这里简单记一下论文中的一些小收获和感受 本文参考:Google MapReduce 中文版 1.0 版 译者 alex,原文地址 http://blademaster.ixiezi.com/ 1. 介绍MapReduce这个抽象模型来源于Lisp和其他函数式语言的Map和Reduce原语,可能近期大家接触的Python里也有用到这一原语,在原创 2017-09-28 21:26:15 · 341 阅读 · 0 评论 -
Hadoop 2.7.3 源码编译+单机及分布式部署
目录源码构建工具准备从源码构建软件结构单机部署分布式部署配置host配置ssh免密登陆修改配置文件检查是否成功查看运行日志其他修改环境变量方便操作我们可以选择官方编译好的Hadoop进行安装,但是自己机器或者公司内部其他版本的Hadoop最好通过自己编译来进行。源码构建环境:Ubuntu(Unix)Java 1.7+Maven 3.0 or laterProtoco原创 2017-09-22 09:47:40 · 410 阅读 · 0 评论 -
Vector Clock 简介
引言: 最近重读http://book.mixu.net/distsys/ebook.html,在分布式文件系统,如何掌握写入内容的先后关系是重要的一环,因为在并发写入的过程中,可能会导致多个版本同时出现的情况,但是使用物理时钟显然是不靠谱的,所以我们采用一种逻辑时钟来为对象构建一种偏序的(partial ordering)的时序集合,同时这个也是Amazon在他们的Dynamo中的实践原原创 2018-01-19 17:23:05 · 1449 阅读 · 2 评论