hadoop基础学习1

原创 2015年11月18日 15:47:29

1.    NameNode和dataNode的区别

       Namenode是分布式文件系统的管理者,管理文件系统命名空间。集群配置信息和存储快的复制等,同时会将Meta-data存储在内存中。

       DataNode是文件存储的基本单元,将block存储在本地文件系统中,存储了Meta-data,会周期性的将所有Block信息发送给NameNode。

2. 文件写入

     client向NameNode发起文件写入请求

      NameNode根据文件大小和文件快配置情况,返回给client所管理的DataNode信息

      client根据这些DataNode进行写入

3 文件读取

     client向NameNode发起文件读取的请求

     NameNode返回DataNode信息

     client读取文件信息。


      

版权声明:本文为博主原创文章,未经博主允许不得转载。

学习hadoop需要具备基础知识

首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解后,就开始准备系统地学习hadoop。建议:勿一味学习理论知识,要注意理论与实践相结合...
  • tongxinzhazha
  • tongxinzhazha
  • 2016年08月25日 18:25
  • 1644

零基础学习hadoop到上手工作线路指导

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题?...
  • whl632359961
  • whl632359961
  • 2016年06月15日 09:55
  • 7615

Hadoop新手学习指导

原创地址:http://www.aboutyun.com/thread-6179-1-1.html 对于我们新手入门学习hadoop大数据存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。下...
  • u012107806
  • u012107806
  • 2015年04月11日 14:50
  • 465

Hadoop学习笔记(一)---Linux基本知识说明

Hadoop的生成环境都是在linux下面,不过呢hadoop2.x 已经开始支持windows平台,但是支持并不是很好,因此熟悉linux的命令是很重要的,需要熟悉linux的基本命令和环境的基本配...
  • garychenqin
  • garychenqin
  • 2015年05月30日 15:05
  • 582

Hadoop学习-基础概念

官方教程点这里 相关论坛设计理念HDFS专为存储大文件而设计,通常以集群模型运行于普通的商业服务器上,基于流式数据访问模型完成数据存取。HDFS将所有文件的元数据存储于名称节点(NameNode)的...
  • xianmiao2009
  • xianmiao2009
  • 2016年03月13日 14:29
  • 773

零基础入门深度学习(1) - 感知器

零基础入门深度学习(1) - 感知器
  • x_r_su
  • x_r_su
  • 2016年11月05日 18:53
  • 4013

学习Hadoop第二十四课(HBase 简单入门)

上节课我们一起简单学习了Shell脚本,这节课我们来简单学习一下HBase,首先我们来看一下HBase的简介,如下图所示。       接下来我们一块儿看一下HBase的几个概念,首先来看第一个概念...
  • u012453843
  • u012453843
  • 2016年10月30日 11:54
  • 1086

从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别

问题导读 1.hadoop1.x改造如果是两个jobtraker,你认为解决了什么问题? 2.hadoop1.x改造如果是两个jobtraker,你认为未解决了什么问题? 3.你如何看待ha...
  • u012117710
  • u012117710
  • 2016年12月13日 11:41
  • 2520

Maven学习(一):maven基础

1、下载,并解压到固定文件夹中:如 D:\MyJAR\Use_JAR\apache-maven-3.2.3\bin 2、配置系统环境变量:新增M2_HOME : D:\MyJAR\Use_JAR\ap...
  • u012228718
  • u012228718
  • 2014年12月23日 20:16
  • 833

hadoop自带的wordcount小案例

1.建立文件目录并生成文件[root@centos hadoop]# ls hadoop-1.2.1 hadoop-1.2.1.tar.gz [root@centos hadoop]# mkdir ...
  • qq_24005787
  • qq_24005787
  • 2016年08月18日 08:38
  • 436
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop基础学习1
举报原因:
原因补充:

(最多只允许输入30个字)