datanode工作机制

before

  1. 从迅雷上下载数据,有时下载的数据是坏的
  2. 下载的东西不靠谱,我们不知道,下载下来才知道
  3. 下载的数据的完整性

after

  1. 加入一个校验位,怎么样工作?我就认为你这个数据是不可靠的,我会让你重新给我发一个

理论

  1. dn启动后向nd注册,相当于nacos
  2. 给返回注册成功
  3. 以后每隔一个小时,上报所有的块信息
  4. 心跳每三秒一次,带有namenode给改datanode的命令
  5. 超过十分钟没有收到dn的心跳,认为该节点不可用

怎么判定节点死亡?
timeout = 2* 变量(五分钟) + 心跳间隔* 10

什么叫校验和?
下载的时候这个文件是否损坏的?
经过网络传输,这个数据不可靠,解压的时候根据不告诉你坏了

什么是校验失效?

什么是crc校验算法?
给他一串数据,他就给你算成一个字符串,越长越靠谱,算出来的校验值,校验值碰撞,减低这种碰撞,长了有什么代价,消耗的cpu高,传输的代价比较高,合适比较好。
这种算法的特点是只要有一个字节的变化,这个值会有剧烈的变化

实操

建工程

改配置

改pom

编码

小总结

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值