hadoop
hunter95671
这个作者很懒,什么都没留下…
展开
-
YARN 的任务提交流程
当JobClient向YARN提交一个应用程序后,YARN将分两个阶段运行这个应用程序:一是启动ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,监控运行直到结束。具体步骤如下:1、用户向YARN提交一个应用程序,并指定ApplicationMaster程序、启动ApplicationMaster的命令、用户程序。2、 RM为这个应用程序分配第一个Container,并与之对应的NM通讯,要求它在这个Container中启动应用程序Appl原创 2022-02-02 10:13:56 · 2606 阅读 · 0 评论 -
Hadoop的优化方法
一、HDFS 小文件影响(1)影响 NameNode 的寿命,因为文件元数据存储在 NameNode 的内存中(2)影响计算引擎的任务数量,比如每个小的文件都会生成一个 Map 任务二、数据输入小文件处理(1)合并小文件:对小文件进行归档(Har)、自定义 Inputformat 将小文件存储成SequenceFile 文件。(2)采用 ConbinFileInputFormat 来作为输入,解决输入端大量小文件场景。(3)对于大量小文件 Job,可以开启 JVM 重用。三、Map 阶段(原创 2021-10-15 20:37:26 · 318 阅读 · 0 评论