Hadoop学习视频心得（三）引入MapReduce

1、NameNode（NN）和Secondary NameNode（2NN）工作机制

1）、思考：NameNode中的元数据是存储在哪里的？

​ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。

​ 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。

​ 但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

​ NN和2NN工作机制，如下图所示。

2）、关于上述图中的CheckPoint的时间设置：

①、通常情况下，SecondaryNameNode每隔一小时执行一次。

②、一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

3）、关于上述图中为什么2NN不能作为NN的热备：

​ 因为2NN缺少一个NN一样的滚动的edits，它缺少发送过去然后创建一个新的edits的动作

错误记录：

1）、core-site.xml中的配置临时数据存放的位置会使得FsImage和Edits文件放在该文件夹下（下图我的配置文件夹是tmp）

2、集群安全模式：

3、DataNode工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。

4、掉线时限参数设置

​ 需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
  <name>dfs.namenode.heartbeat.recheck-interval</name>
  <value>300000</value>
</property>
<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
</property>

5、数据完整性

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？

如下是DataNode节点保证数据完整性的方法。

1）当DataNode读取Block的时候，它会计算CheckSum。

2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

3）Client读取其他DataNode上的Block。

4）DataNode在其文件创建后周期验证CheckSum，如图所示。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bYKVBUy2-1609162879887)(file:///C:\Users\XIAOYO~1\AppData\Local\Temp\ksohtml8952\wps7.png)]

6、退役旧数据节点

一、添加白名单（基于hadoop3.x）

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。

配置白名单的具体步骤如下：

（1）在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts文件

[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[atguigu@hadoop102 hadoop]$ touch dfs.hosts
[atguigu@hadoop102 hadoop]$ vi dfs.hosts

添加如下主机名称（不添加hadoop105）

hadoop102
hadoop103
hadoop104

（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts</value>
</property>

（3）配置文件分发

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

（4）刷新NameNode

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

（5）更新ResourceManager节点

[atguigu@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes
17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

（6）在web浏览器上查看

（7）如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp        Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

二、黑名单退役（基于hadoop3.x）

在黑名单上面的主机都会被强制退出。

（1）在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts.exclude文件

[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[atguigu@hadoop102 hadoop]$ touch dfs.hosts.exclude
[atguigu@hadoop102 hadoop]$ vi dfs.hosts.exclude

​ 添加如下主机名称（要退役的节点）

hadoop105

（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
<name>dfs.hosts.exclude</name>
   <value>/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts.exclude</value>
</property>

（3）刷新NameNode、刷新ResourceManager

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[atguigu@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

（4）检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点，如图3-17所示

​ 如图退役中

（5）等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役，如图3-18所示

​ 如图已退役

[atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanode
stopping datanode
[atguigu@hadoop105 hadoop-3.1.3]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

（6）如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp        Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

注意：不允许白名单和黑名单中同时出现同一个主机名称。

7、MapReduce核心思想

1）分布式的运算程序往往需要分成至少2个阶段。

2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。

3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。

8、常用的数据序列化类型

​ 尤其注意String—>Text，其他的直接加Writable

Java类型	Hadoop Writable类型
Boolean	BooleanWritable
Byte	ByteWritable
Int	IntWritable
Float	FloatWritable
Long	LongWritable
Double	DoubleWritable
String	Text
Map	MapWritable
Array	ArrayWritable

9、利用wordcount对MapReduce解读

框架下编程只需要写核心逻辑剩下的交给框架

1）、关于mapper的类型

​ 输出很容易理解为<k，v>键值对的形式，根据对应的序列化类型，我们可以知道输出为<Text，IntWritable>，这边说下输入为什么是<LongWritable,Text>,Text很容易理解（文件的内容），而LongWritable就是文件每一行的位置（每次读取每一行）

2）、关于Mapper阶段的处理

public class WcMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    private Text word = new Text();
    private IntWritable one = new IntWritable(1);

    /**
     * 框架将数据一行一行输入进来，我们把数据变成（单词，1）的形式
     *
     * @param key     行号
     * @param value   行内容
     * @param context 任务本身
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //拿到一行数据
        String line = value.toString();

        //将这一行拆成很多单词
        String[] words = line.split(",");

        //将（单词，1）写回框架
        for (String word : words) {
            this.word.set(word);
            context.write(this.word, this.one);
        }
        
    }
    
}

3）、关于Reduce阶段的处理

public class WcReduce extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable result = new IntWritable();

    /**
     * 框架把数据按照单词分好组--->我们将同一单词的次数相加
     *
     * @param key     单词
     * @param values  该单词的所有的1
     * @param context 任务本身
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        //做累加
        int sum = 0;
        for (IntWritable value : values) {
            sum += value.get();
        }

        //包装写出去
        result.set(sum);
        context.write(key, result);
    }

}

4）、关于Driver阶段的处理

public class WcDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //1、获取Job实例
        Job job = Job.getInstance(new Configuration());

        //2、设置Jar包
        job.setJarByClass(WcDriver.class);

        //3、设置Mapper和Reducer
        job.setMapperClass(WcMapper.class);
        job.setReducerClass(WcReduce.class);

        //4、设置Mapper和Reducer的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //5、设置输入输出文件
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //6、提交Job
        boolean b = job.waitForCompletion(true);

        System.exit(b ? 0 : 1);
    }
    
}

5）、提交运行

①、在idea里打包成为jar包（选中右侧边栏中的package）

②、上述操作后会自动生成一个jar包（这里为：newguigu-1.0-SNAPSHOT.jar）

③、将此jar包拖到虚拟机的hadoop目录下

④、执行命令，统计任意文件的单词个数（这里选取的是hdfs上根目录下的README.txt文件，输出的统计结果放在了hdfs上新建文件夹output2里）

注意命令：yarn jar newguigu-1.0-SNAPSHOT.jar com.atguigu.wordcou
nt.WcDriver /README.txt /output2

其中的com.atguigu.wordcount.WcDriver是在idea中WcDriver.java文件的类型引用（右击WcDriver.java点击copy reference）

其中输入的路径如果是本地需要file:///再加上全路径，比如加上我这里hadoop-2.6.0下的REANME.txt应该写成：
yarn jar newguigu-1.0-SNAPSHOT.jar com.atguigu.wordcount.WcDriver file:home/xiaoyoupei/jdk/hadoop-2.6.0/README.txt /output3

其中输出的路径必须是个不存在的路径，否则会报错（这里的是/output2）

注意：本人使用的是Hadoop2.6.0，但是看的视频是Hadoop3.1.6，有些地方有点出入