![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP介绍
szjianzr
这个作者很懒,什么都没留下…
展开
-
Hadoop 1.0 体系结构
HDFS和MapReduce是Hadoop的两大核心。Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持的,通过MapReduce来实现分布式并行任务处理的程序支持。 一、HDFS的体系结构。 HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中:NameNode作为主服务器,管理文件...原创 2014-02-11 14:23:53 · 916 阅读 · 0 评论 -
Hadoop1.0-HDFS介绍
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。采用Java语言开发,可以部署在多种普通的廉价机器上,以集群处理数量积达到大...原创 2014-08-06 10:03:58 · 288 阅读 · 0 评论 -
Hadoop1.0-MapReduce介绍
一、MapReduce介绍 MapReduce是一种编程模型式,它是与处理/产生海量数据集的实现相关。用户指定一个map函数,通过这个map函数处理key/value(键/值)对,并且产生一系列的中间key/value对,并且使用reduce函数来合并所有的具有相同key值的中间键值对中的值部分。 1、MapReduce处理大数据的基本构思: A、对付大数据处理----分而治之 ...原创 2014-08-06 11:27:10 · 391 阅读 · 0 评论 -
Hadoop2.0-HA介绍
先介绍hadoop2.0 HA的基本原理和2种方式。 一、概述 在hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),对于只有一个NameNode 的集群,如果NameNode 机器出现故障,那么整个集群将无法使用,直到NameNode...原创 2014-08-06 14:06:58 · 189 阅读 · 0 评论 -
Hadoop2.0- MapReduceV2(Yarn) 框架简介
一、原 Hadoop MapReduce 框架的问题 Hadoop1.0的原 MapReduce 框架图: 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 1、首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-reduce 框架的中心,他需要与集群中的机器定时...原创 2014-08-06 14:32:28 · 265 阅读 · 0 评论 -
HBase简介
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。 HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据的可...原创 2014-08-07 09:57:11 · 112 阅读 · 0 评论