qq_27347421的博客

HDFS 集群的机架感知背景Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...

HDFS 工作机制概述1、HDFS 集群分为两大主要角色：namenode、datanode (secondarynamenode 和 client)。2、namenode 负责管理整个文件系统的元数据，并且负责响应客户端的请求。3、datanode 负责管理用户的文件数据块，并且通过心跳机制汇报给 namenode。4、文件会按照固定的大小(dfs.blocksize)切成若干块后分...

Hadoop 心跳机制（heartbeat）1、 Hadoop 是 Master/Slave 结构，Master 中有 NameNode 和 ResourceManager，Slave中有 Datanode 和 NodeManager。2、 Master 启动的时候会启动一个 IPC（Inter-Process Comunication，进程间通信）server 服务，等待 slave 的链...

HDFS前言HDFS：Hadoop Distributed File System Hadoop 分布式文件系统，主要用来解决海量数据的存储问题。设计思想 分而治之：将大文件，大批量文件，分布式的存放于大量服务器上。以便于采取分而治 之的方式对海量数据进行运算分析。在大数据系统架构中的应用 为各类分布式运算框架（MapReduce，Spark，Tez，Flink，…）提供数据存储...

CRC文件校验文件在下载的时候，除了需要下载的文件在外，生成一个crc的文件。crc校验文件作用：用于校验下载的文件数据是否是完整的。校验数据的完整性如何校验的：数据的实际的块存储目录：/home/hadoop/data/hadoopdata/dfs/data/current/BP-1178107398-192.168.2.111-1578828981899/current/fin...