- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop 2.x框架
原框架存在的主要问题如下：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracker fail 的风险，这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限
2018-01-03 21:09:02
316
原创 SecondaryNameNode工作原理
SecondaryNameNodeHadoop中SecondaryNameNode工作机制首先来看一下HDFS的结构，如下图：如上图，在HDFS架构中，NameNode是职责是管理元数据信息，DataNode的职责是负责数据存储，那么SecondaryNameNode的作用是什么呢？其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决
2018-01-03 20:59:18
1029
原创 Hadoop分布式文件系统HDFS
Hadoop分布式文件系统HDFSHDFS文件系统由以下守护进程协调地运行提供服务：NameNode进程SecondaryNameNode进程DataNode进程HDFS是主从架构。运行NameNode进程的服务器是主节点，运行DataNode进程的服务器是从节点。集群上的每个从节点都会运行一个DataNode进程。这个DataNode进程管理着挂在到这个DataNode上的存
2018-01-03 20:56:10
467
原创 Hadoop简介
1.1 Hadoop简介Hadoop是一个基于Java语言的MapRecude框架。Hadoop的一些子项目：Common：一系列组件跟接口，用于分布式文件系统和通用IO。Avro：一种序列化系统，用于高效的、跨语言的RPC和持久化的数据存储。MapRedude：分布式数据处理模型和执行环境，运行于大型商用机集群。HDFS：分布式文件系统，运行于大型商用机集群。Pig：数
2018-01-02 22:00:31
1069
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人