- 博客(3)
- 收藏
- 关注
原创 HDFS 元数据管理机制
HDFS 元数据管理机制 HDFS 元数据,按类型分,主要包括以下几个部分: 1、文件、目录自身的属性信息,例如文件名,目录名,修改信息等。 2、文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等。 3、记录 HDFS 的 Datanode 的信息,用于 DataNode 的管理。 按形式分为内存元数据和元数据文件两种,分别存在内存和磁盘上。 HDFS 磁盘上元数据文件分为两类,...
2019-09-21 13:37:51
244
原创 Hadoop的配置和使用
Hadoop 核心组件 HDFS(分布式文件系统):解决海量数据存储 YARN(作业调度和集群管理的框架):解决资源任务调度 MAPREDUCE(分布式运算编程框架):解决海量数据计算 Hadoop 特性优点 扩容能力 成本低 高效率 可靠性 Hadoop 集群启动、初体验 1. 启动方式 要启动 Hadoop 集群,需要启动 HDFS 和 YARN 两个集群。 注意:首次启动 HDFS ...
2019-09-20 15:02:15
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人