DataNode,机架感知,写入写出数据,数据一致性,入门级指令

本文介绍了DataNode在HDFS中的角色,包括数据读写、心跳机制,以及机架感知的实现。详细阐述了HDFS的数据写入和读取流程,强调了数据完整性的保障措施。同时,讨论了HDFS适用于一次写入多次读出的场景。
摘要由CSDN通过智能技术生成

DataNode作用

1、执行数据的读写(响应的是客户端)
2、周期性向NameNode做汇报(数据块的信息、校验和)
若datanode 10分钟没有向NameNode做汇报,表示已丢失(已宕机)
心跳周期 3秒 3、执行流水线的复制(一点一点复制)

在这里插入图片描述

机架感知

实际上需要工程师收到创建一个脚本(python sh ),脚本中记录主机IP和交换机的对应关系。
配置的位置是core-site.xml 最终添加如下配置
topology.script.file.name
/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py

RPC 指的是 远程过程调用。是集群中多个组件、多个模块进行数据通信的一种方式。

HDFS数据写入流程(重点)

在这里插入图片描述
1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否
存在,返回是否可以上传;

  • 10
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值