大数据开发-Hadoop之深入MapReduce

MapReduce任务日志查看

• 需要开启YARN的日志聚合功能，把散落在NodeManager节点上的日志统一收集管理，方便日志查看

[root@hadoop01 hadoop]# vim yarn-site.xml 
        </property>
                <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://192.168.52.100:19888/jobhistory/logs/</value>
        </property>

# 配置文件同步
[root@hadoop01 hadoop]# scp -rq yarn-site.xml hadoop02:/home/soft/hadoop-3.2.0/etc/hadoop/
[root@hadoop01 hadoop]# scp -rq yarn-site.xml hadoop03:/home/soft/hadoop-3.2.0/etc/hadoop/

# 重启服务
[root@hadoop01 hadoop-3.2.0]# sbin/stop-all.sh
Stopping namenodes on [hadoop01]
Last login: Wed Mar  6 09:30:03 CST 2024 from 192.168.52.1 on pts/1
Stopping datanodes
Stopping secondary namenodes [hadoop01]
Last login: Thu Mar  7 09:13:43 CST 2024 on pts/1
Stopping nodemanagers
Last login: Thu Mar  7 09:13:47 CST 2024 on pts/1
Stopping resourcemanager
Last login: Thu Mar  7 09:13:51 CST 2024 on pts/1
You have new mail in /var/spool/mail/root
[root@hadoop01 hadoop-3.2.0]# jps
33464 Jps
[root@hadoop01 hadoop-3.2.0]# sbin/start-all.sh
Starting namenodes on [hadoop01]
Last login: Thu Mar  7 09:13:54 CST 2024 on pts/1
Starting datanodes
Last login: Thu Mar  7 09:14:16 CST 2024 on pts/1
Starting secondary namenodes [hadoop01]
Last login: Thu Mar  7 09:14:18 CST 2024 on pts/1
Starting resourcemanager
Last login: Thu Mar  7 09:14:24 CST 2024 on pts/1
Starting nodemanagers
Last login: Thu Mar  7 09:14:31 CST 2024 on pts/1
[root@hadoop01 hadoop-3.2.0]# jps
33666 NameNode
34179 ResourceManager
34501 Jps
33935 SecondaryNameNode


# 启动historyserver守护进程
[root@hadoop01 hadoop-3.2.0]# bin/mapred --daemon start historyserver
You have new mail in /var/spool/mail/root
[root@hadoop01 hadoop-3.2.0]# jps
33666 NameNode
34626 Jps
34179 ResourceManager
34569 JobHistoryServer
33935 SecondaryNameNode

停止Hadoop集群中的任务

假设任务执行到一半了，发现代码有漏洞，那么错误的代码没有必要再去执行，所以要给它停掉。

[root@hadoop01 hadoop-3.2.0]# yarn application -kill application_1709774078248_0001

MapReduce程序扩展

当数据只需要进行过滤、解析，不需要聚合的时候不需要reduce阶段，此时在job设置的时候将job.setNumReduceTasks(0);就可以了

Shuffle过程详解

Shuffle就是一个将map数据传输到reduce的过程

Hadoop中的序列化机制

通过上图，影响MapReduce执行效率的主要原因是磁盘IO，如果想提高这个任务的执行效率，就需要对这方面进行优化。进行磁盘IO的时候都要对数据进行序列化和反序列化。

常见的实现

• Text等价于String的Writable，针对UTF-8序列
• NullWritable是单例，获取实例使用NullWritable.get()

Hadoop序列化机制的特点

• 紧凑：高效的存储控件
• 快速：读写数据的额外开销小
• 可扩展：可透明的读取老格式的数据
• 互操作：支持多语言的交互

Java序列化的不足之处

• 不精简，附加信息太多，不太适合随机访问
  adoop序列化机制的特点

• 紧凑：高效的存储控件

• 快速：读写数据的额外开销小

• 可扩展：可透明的读取老格式的数据

• 互操作：支持多语言的交互

Java序列化的不足之处

• 不精简，附加信息太多，不太适合随机访问
• 存储空间大，递归地输出类的超类描述直到不再有超类