自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 HDFS 元数据管理机制

HDFS 元数据管理机制 HDFS 元数据,按类型分,主要包括以下几个部分: 1、文件、目录自身的属性信息,例如文件名,目录名,修改信息等。 2、文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等。 3、记录 HDFS 的 Datanode 的信息,用于 DataNode 的管理。 按形式分为内存元数据和元数据文件两种,分别存在内存和磁盘上。 HDFS 磁盘上元数据文件分为两类,...

2019-09-21 13:37:51 244

原创 MapReduce相关优化以及解决数据倾斜问题

MapReduce的数据倾斜以及解决问题

2019-09-21 13:27:16 122

原创 Hadoop的配置和使用

Hadoop 核心组件 HDFS(分布式文件系统):解决海量数据存储 YARN(作业调度和集群管理的框架):解决资源任务调度 MAPREDUCE(分布式运算编程框架):解决海量数据计算 Hadoop 特性优点 扩容能力 成本低 高效率 可靠性 Hadoop 集群启动、初体验 1. 启动方式 要启动 Hadoop 集群,需要启动 HDFS 和 YARN 两个集群。 注意:首次启动 HDFS ...

2019-09-20 15:02:15 146

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除