Hadoop
文章平均质量分 76
sfiven7
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.x框架
原框架存在的主要问题如下:JobTracker 是 Map-reduce 的集中处理点,存在单点故障。JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracker fail 的风险,这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限原创 2018-01-03 21:09:02 · 323 阅读 · 0 评论 -
Hadoop简介
1.1 Hadoop简介Hadoop是一个基于Java语言的MapRecude框架。Hadoop的一些子项目:Common:一系列组件跟接口,用于分布式文件系统和通用IO。Avro:一种序列化系统,用于高效的、跨语言的RPC和持久化的数据存储。MapRedude:分布式数据处理模型和执行环境,运行于大型商用机集群。HDFS:分布式文件系统,运行于大型商用机集群。Pig:数原创 2018-01-02 22:00:31 · 1087 阅读 · 0 评论 -
SecondaryNameNode工作原理
SecondaryNameNodeHadoop中SecondaryNameNode工作机制首先来看一下HDFS的结构,如下图:如上图,在HDFS架构中,NameNode是职责是管理元数据信息,DataNode的职责是负责数据存储,那么SecondaryNameNode的作用是什么呢?其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决原创 2018-01-03 20:59:18 · 1043 阅读 · 0 评论 -
Hadoop分布式文件系统HDFS
Hadoop分布式文件系统HDFSHDFS文件系统由以下守护进程协调地运行提供服务:NameNode进程SecondaryNameNode进程DataNode进程HDFS是主从架构。运行NameNode进程的服务器是主节点,运行DataNode进程的服务器是从节点。集群上的每个从节点都会运行一个DataNode进程。这个DataNode进程管理着挂在到这个DataNode上的存原创 2018-01-03 20:56:10 · 482 阅读 · 0 评论