hadoop hdfs优势和缺点

hdfs优点

  1. 高容错性
  2. 适合处理大数据
  3. 可构建再廉价的机器上

hdfs缺点

  1. 不适合做低延迟数据访问
  • 毫秒级的存储数据做不到
  1. 无法高效的对大量小文件进行存储
  2. 不支持并发写入 文件随机修改
  • 一个文件只能有一个writer 不允许多个线程同时写
  • 仅支持数据追加 不支持文件的随机修改

hdfs组织结构

image.png

namenode 就是master 他是一个主管 管理者
  1. 管理hdfs的名称空间
  2. 配置副本策略
  3. 管理数据块映射信息
  4. 处理客户端读写请求
datanode 就是slave namenode下达命令 datanode执行实际的存储
  1. 存储实际的数据块
  2. 执行数据块的读写操作
client 就是客户端
  1. 文件切分 文件上传hdfs的时候 client讲文件切分成一个一个的block 然后进行上传
  2. 与namenode交互 获取文件的位置信息
  3. 与datanode交互 读取或者写入数据
  4. client 提供一些命令来管理hdfs
  5. cleint 可以通过一些命令来访问hdfs
secondary namenode 并非namenode 热备 当name挂掉的时候 他并不能马上替换namenode 并提供服务
  1. 辅助namenode 分担工作量
  2. 紧急情况 可辅助恢复namenode
hdfs 文件块大小
  1. hdfs的文件在物理上是分块存储 块的大小可以通过配置参数来规定 dfs.blocksize 默认大小在hadoop 128m
  2. 如果寻址时间约为10ms, 即查找到目标block的时间为 10ms。
  3. 寻址时间为传输时间的1% 时,则为最佳状态。(专家) 因此,传输时间 =10ms/0.01=1000ms=1s
  4. 而目前磁盘的传输速率普 遍为100MB/s。
  • 7
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值