lebronfan-CSDN博客

转载 Hadoop读写文件时内部工作机制

读文件　　读文件时内部工作机制参看下图：　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置

2017-03-09 11:12:59 206

转载 HDFS中的Namenode和Datanode

NamenodeNamenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个，分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log)，这些信息被Cache在RAM中，当然，这两个文件也会被持久化存储在本地硬盘。Na

2017-03-09 11:06:30 349

转载 CAP理论以及hadoop组件

1：CAP 理论C（一致性）：所有的节点上的数据时刻保持同步A（可用性）：每个请求都能接受到一个响应，无论响应成功或失败P（分区容错）：系统应该能持续提供服务，即使系统内部有消息丢失（分区） 2：hadoop 组件介绍： 2.1 MapReduce——Hadoop 的核心Google 的网络搜索引擎在得益于算法发挥作用的同时，MapReduce 在后台发挥了极大的作

2017-03-09 10:44:44 1724

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人