- 博客(3)
- 收藏
- 关注
RSS订阅转载 Hadoop读写文件时内部工作机制
读文件 读文件时内部工作机制参看下图： 客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置
2017-03-09 11:12:59
204
转载 HDFS中的Namenode和Datanode
Namenode Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个，分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log)，这些信息被Cache在RAM中，当然，这两个文件也会被持久化存储在本地硬盘。Na
2017-03-09 11:06:30
349
转载 CAP理论以及hadoop组件
1：CAP 理论 C（一致性）：所有的节点上的数据时刻保持同步 A（可用性）：每个请求都能接受到一个响应，无论响应成功或失败 P（分区容错）：系统应该能持续提供服务，即使系统内部有消息丢失（分区） 2：hadoop 组件介绍： 2.1 MapReduce——Hadoop 的核心 Google 的网络搜索引擎在得益于算法发挥作用的同时，MapReduce 在后台发挥了极大的作
2017-03-09 10:44:44
1722
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人