hadoop基础学习1

原创 2015年11月18日 15:47:29

1.    NameNode和dataNode的区别

       Namenode是分布式文件系统的管理者,管理文件系统命名空间。集群配置信息和存储快的复制等,同时会将Meta-data存储在内存中。

       DataNode是文件存储的基本单元,将block存储在本地文件系统中,存储了Meta-data,会周期性的将所有Block信息发送给NameNode。

2. 文件写入

     client向NameNode发起文件写入请求

      NameNode根据文件大小和文件快配置情况,返回给client所管理的DataNode信息

      client根据这些DataNode进行写入

3 文件读取

     client向NameNode发起文件读取的请求

     NameNode返回DataNode信息

     client读取文件信息。


      

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop零基础学习过程(1)

有关Hadoop的大部分资料都假设读者已经知道在Hadoop上编写/运行作业(job)的基本概念和步骤。这使人第一感觉很迷茫,因为很多概念并非读者之前知道的,除非他们过去在类似Hadoop的系统上使用...

hadoop1.x基础环境搭建手册V1.1.0

  • 2016年03月12日 17:11
  • 650KB
  • 下载

Hadoop学习笔记1--Hadoop基础

从今天开始重新从头学习Hadoop,并每章写读书笔记一篇,记于次。       这篇笔记将主要概括mapreduce的基本原理和输入输出类。        1. Hadoop数据类型。 ...

1-hadoop基础配置

redhat修改启动模式: 以root用户修改文件 /etc/inittab,编辑这一行 id:5:initdefault,将5改为3. 命令行模式比图形模式节省资源。 ls -alh...
  • W_SRB
  • W_SRB
  • 2016年06月18日 13:37
  • 279

Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1) - 基础环境准备-2

CentOS  6.5服务器两台 主机(hadoopMaster) : 10.144.255.45   -namenode 主机(hadoopSlave114...)   :  10.163.18...

2.大数据基础(下)_1.理解Hadoop生态系统.txt

1.------------------------------------     Hadoop生态系统中的核心部分,是Hadoop分布式文件系统(HDFS)和MapReduce, 为了满足大数据...

Hadoop入门基础知识[1]

Hadoop历史         雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web...

hadoop基础知识1

收集自网络几篇文章===== 入门: 知道MapReduce大致流程,map, shuffle, reduce 知道combiner, partition作用,设置compression ...
  • shj1119
  • shj1119
  • 2013年05月08日 14:26
  • 418

Ubuntu14下Hadoop开发<1> 基础环境安装

在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop基础学习1
举报原因:
原因补充:

(最多只允许输入30个字)