![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据-hadoop
johnny00000
加油
展开
-
二、hadoop之MapReduce那些事
二、hadoop之MapReduce那些事提示:上个章节写了关于HDFS那些事,本章节详细的介绍MapReduce那些事。文章目录二、hadoop之MapReduce那些事前言1.Hadoop序列化1.1 序列化概述1.1.1 什么是序列化1.1.2 为什么要序列化1.1.3 为什么不用java序列化1.1.4 Hadoop序列化的特点1.2 自定义bean对象实现序列化接口(Writable)1.3 序列化案例实操2.MapReduce框架原理2.1 InputFormat数据输入2.1.1 切片与原创 2020-09-09 17:26:49 · 212 阅读 · 0 评论 -
一、hadoop之HDFS那些事
一、hadoop之HDFS那些事1.HDFS写数据流程2.HDFS读数据流程3.NameNode和SecondaryNameNode4.NameNode工作机制NN和2NN工作机制详解:5.Fsimage和Edits解析6.集群安全模式6.1 基本语法6.2 案例7.NameNode多目录配置7.DataNode工作机制7.1 数据完整性7.2 掉线时限参数设置8.服役新数据节点9.退役旧数据节点9.1添加白名单9.2 黑名单退役10. Datanode多目录配置11. HDFS 2.X新特性11.1 集群原创 2020-09-08 17:18:56 · 312 阅读 · 0 评论 -
Hadoop中NameNode元数据管理机制解读
大家都知道hadoop是分布式离线批处理框架,主从架构,namenode是主节点,datanode是从节点,hadoop整体分为: HDFS:分布式文件存储系统 MapReduce:分布式离线并行计算框架 yarn:分布式资源调度管理框架1.元数据管理概述 HDFS元数据,按类型分,主要包括以下几个部分: 1、文件、目录...原创 2019-12-17 17:32:14 · 1461 阅读 · 0 评论