Hadoop之运行原理

HDFS具备以下特点:

高容错:保存多个副本(默认3份[即共3份文件])

高吞吐量:部署在廉价的通用硬件上,针对高吞吐量做了优化

HDFS以block形式存储,默认一个block块64M。但是很多情况下HDFS采用128MB的设置

体系架构:HDFS采用了主从(Master /Slave)结构

NameNode:是Master节点,负责管理hdfs的目录树和文件元数据信息,并且它是将这些信息存储在内存中的

DataNode:是Slave节点,负责实际数据的存储以block块形式,(如果文件不足64m则占用文件大小的空间(即<64M),不会整个占用块大小空间。

-部分内容引用于Hadoop权威指南,推荐大家看看这本书以及董西成老师的书

其实现在想想我觉得无非就是简单介绍下hdfs特点而已。用自己的话把上面的内容复述一遍基本就可以了。

在初学者面试大数据岗位的时候,基本上来就会被问到这个问题,当时我在学hadoop的时候,学了很多可是不知道究竟什么是hadoop运行原理,完全搞不懂interviewer在问什么。。。。。。

真的想问问他,你到底在问什么

2015年10月21日晚
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值