猿猿不断的博客

一、概述（1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。（3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。（4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

一、需求介绍 统计每一个手机号耗费的总上行流量、下行流量、总流量（1）输入数据1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100.1 240 0 4045 18271575951 192.168....

一、DataNode工作机制（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（4）集

思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：1）配置yarn-site.xml viyarn-site.xml，在该文件里面增加如下配置<property> <name>yarn.log-a...

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下1.配置mapred-site.xml vi mapred-site.xml，在该文件里面增加如下配置。<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value></property&...

一、配置jdk1.将jdk包解压并重命名tar -zxvf jdk-8u212-linux-x64.tar.gzmv jdk1.8.0_212/ jdk2.配置环境变量 新建/etc/profile.d/my_env.sh文件 vi/etc/profile.d/my_env.sh，添加如下内容#JAVA_HOMEexport JAVA_HOME=/work/jdkexport PATH=$PATH:$JAVA_HOME/bin 重启xshell窗口，让环...

一、先给主机配置域名这里有三台服务器分别是192.168.56.101、192.168.56.102、192.168.56.103，设置对应域名为hadoop101、hadoop102、hadoop1031.手动本次将域名改为hadoop1012.修改/etc/hosts文件二、这里写个同步文件脚本便于后面操作文件同步1.vixsync#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguem...