hadoop/hdfs
zh521zh
这个作者很懒,什么都没留下…
展开
-
Hadoop 的HA高可集群用性
一、 Hadoop 的高可用性1. 概论本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS 的架构指南。http://hadoop.apache.org/common/docs/current/hdfs_design.h转载 2016-06-30 14:54:02 · 1666 阅读 · 0 评论 -
Hadoop YARN的发展史与详细解析
摘要:Apache Hadoop于2005年推出,提供了核心的MapReduce处理引擎来支持大规模数据工作负载的分布式处理。7年后的今天,Hadoop正在经历着一次彻底检查,不仅支持MapReduce,还支持其他分布式处理模型。以下为文章内容带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最转载 2016-06-30 16:30:47 · 288 阅读 · 0 评论 -
Hadoop2.0的HA介绍 (High Avalability,高可用性)
Hadoop2.0的HA介绍本文先介绍hadoop2.0 HA (High Avalability,高可用性) 的基本原理和2种方式。1 概述在hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,backcupnode这些,但是单点问题依然存在)。在ha转载 2016-06-30 13:47:56 · 1035 阅读 · 0 评论 -
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.NodeManager的http服务端口是哪个?6.Maste转载 2016-06-30 09:59:44 · 322 阅读 · 0 评论 -
HDFS原理分析:基本概念
HDFS原理分析:基本概念HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。HDFS设计理念之一就是让它能运行在普通的硬件之上,即便硬件出现故障,也可以通过容错策略来保证数据的高可用。HDFS是Hadoop Distribute File System转载 2015-11-05 19:07:48 · 521 阅读 · 0 评论 -
Hadoop Journal Node 作用
hadoop2.2.0(HA)的 NameNode之间共享数据 的两种方式:(NFS(Nnetwork File System)、Quorum Journal Node(用得多)) 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。sta转载 2016-06-30 11:27:26 · 7160 阅读 · 0 评论 -
Hadoop中HDFS的存储机制
Hadoop中HDFS的存储机制HDFS(Hadoop Distributed File System)是Hadoop分布式计算中的数据存储系统,是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念,然后介绍HDFS中读写操作的过程,最后分析了HDFS的优缺点。1. HDFS中的基础概念 Block:HDFS中的存储单元是每个数据块转载 2016-06-29 17:12:16 · 17675 阅读 · 0 评论 -
Hbase的table存储详解
Hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。 与hadoop一样,Hbase目标主要依靠横向扩展,通过转载 2016-07-15 16:20:05 · 6267 阅读 · 0 评论