大数据基础:HDFS(分布式文件系统)前置知识,吞吐量,数据块,并发

大数据基础:HDFS(分布式文件系统)前置知识

吞吐量

首先在书面解释时,速率是额定或标称的,但是实际传输时,其实不稳定的,吞吐量就是取平均值。假设你从学校骑电动车回家,这条公路限速80km/h,这就可以理解成“带宽”,也就是“最高传输速率”。所骑电动车厂家宣称最高时速30km/h,这可以理解成“速率”,也就是“额定速率或标称速率”。但是你不可能全程以30km/h速度行驶,可能会碰到红灯或者堵车,这时你的速度就会放慢了,这条路的长度除以你行驶时间所得平均行驶速度,就可以理解成“吞吐量”。

数据块

每个磁盘都有默认的数据块大小,数据块是磁盘读、写的最小单位。HDFS同样也有块(block)的概念,但是比磁盘的数据块大的多,默认为128mb,作为独立的存储单元,但与面向单一磁盘的文件系统不同的是,HDFS中小于一个数据块大小的文件不会占据整个块的空间,(例如1mb的文件储存在128mb的块中,文件只使用1mb的储存空间,而不是128mb)

并发

无论上一个任务是否完成,下个任务都可以开始执行

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HanZee

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值