hadoop的使用场合与不使用场合

1.在web中页面的快速响应中不适合用hadoop(响应时间在ms级别)

2.大量的小文件处理不使用用hadoop(元数据较多,而且元数据是存储在namenode中的,内存占用大)

3.HDFS中的block:一个block只是可以存储一个文件;但是一个文件可以由多个块组成,默认情况下一个block有2个副本(为了安全,可以手动配置),hadoop中默认的block大小是64MB

4.各个节点的功能

   1.namenode:接受客户端的读写服务,保存元数据信息,文件包含哪些块,block保存在哪个datanode(由datanode启动时候上报)
   2.secondaryNameNode:不是namenode的备份,是一部分元数据的备份,主要是帮助namenode进行合并edits文件中数据
   3.datanode:存储block,datanode主动向namenode发送心跳数据

4.block副本之间的复制是由datanode新开线程进行复制,不是由客户端直接写3份

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值