xiaohe857的博客

本文在Java基础上只记录比较不同的重点和难点目录1、Scala基本概念1.1 Scala语言特点1.2 代码中的简单说明1.3 面向对象的理解2、Scala基本知识2.1 常量与变量2.2 字符串的输出2.3 键盘输入2.4 简单的文件操作2.5 Scala数据类型2.5.1Unit类型、Null类型和Nothing类型（重点）2.5.2 数据类型的自动转换2.5.3 强制类型的转换2.5.4数值类型和String类型间转换...

目录DataNode 工作机制数据完整性掉线时限参数设置DataNode 工作机制（1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据 本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode 启动后向 NameNode 注册，通过后，周期性（6 小时）的向 NameNode 上 报所有的块信息。 DN 向 NN 汇报当前解读信息的时间间隔，默认 6 小时：<proper..

思考：NameNode 中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访 问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在 内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的 FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导 致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，

参考尚硅谷（1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 （2）NameNode 返回是否可以上传。 （3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 （4）NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1

第一步：关闭模板主机，选择克隆注意是创建完整克隆