云祁QI

前言HDFS SecondaryNameNode是干什么的？这是道经典的基础面试题，笔者问过面试者很多次（当然也被面试官问过很多次）。从印象看，大约有一半的被面试者无法正确作答，给出的答案甚至有“不就是NameNode的热备嘛 ”。本文来简单聊聊相关的知识，为节省篇幅，将SecondaryNameNode简称SNN，NameNode简称NN。NN与fsimage、edit log文件NN负责管理HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。客户端

系统版本为CentOS 7。vm.swappiness设置方法：echo 1 > /proc/sys/vm/swappiness，或sysctl -w vm.swappiness=1，或编辑/etc/sysctl.conf文件，加入vm.swappiness=1swap即交换空间，作用类似于Windows中的虚拟内存，也就是当物理内存不足时，将硬盘上的swap分区当做内存来使用。但是，由于磁盘的读写速率与内存相比差太多，一旦发生大量交换，系统延迟就会增加，甚至会造成服务长期不可用，这对

文章目录一、Hadoop简介二、Hadoop的核心三、Hadoop的特点四、HDFS的架构存储模型==NameNode（NN）==1.简介2.NameNode的工作特点3.NameNode主要功能4.NameNode保存metadata信息包括5.NameNode持久化6.==DataNode（DN）====SecondaryNameNode（SNN）==1.SNN执行合并时机2.SNN执行流程图...

文章目录一、部署Java二、设置无密登录三、修改配置文件一、部署Java创建三台虚拟机部署Java解压配置环境变量具体安装步骤参考：手把手教你在Linux环境下安装JDK 1.8.0二、设置无密登录SSH基本原理SSH之所以能够保证安全，原因在于它采用了公钥加密。过程如下：(1)远程主机收到用户的登录请求，把自己的公钥发给用户。(2)用户使用这个公钥，将登录密码加密后，...

Hadoop MapReduce / MR 是一个软件计算框架，可以轻松地编写应用程序，以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多达TB数据集） 。

文章目录1 序列化概述2 自定义bean对象实现序列化接口（Writable）3 序列化案例实操1 序列化概述2 自定义bean对象实现序列化接口（Writable）在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。（1）必须实现Writable接口（2）反序列化...

文章目录一、什么是数据倾斜以及数据倾斜是怎么产生的？二、为什么说数据倾斜与业务逻辑和数据量有关？一、什么是数据倾斜以及数据倾斜是怎么产生的？简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。举个 word count 的入门例子，它的map 阶段就是形成 （“aaa”,1）的形式，然后在reduce 阶段进行 value 相加，得出 “aaa” 出现...

前言：在《Hadoop系列》的第一篇博文里，就已经提到了【hadoop】（一）分布式文件系统 HDFS，但作为面试中经常遇到的数据流的问题，特地拎出来专门写一篇文章，详细解读 HDFS 数据流的知识点，帮助小伙伴们跳出面试中的那些大坑。

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。