Hadoop
王大丫丫
少壮不努力,老大徒伤悲。
深度学习、人工智能、大模型、多模态
展开
-
Hadoop第六章
1.可以调用一个简单的方法来运行MapReduce作业:Job对象上的submit(),也可以调用waitForCompletion()用于提交以前没有提交的作业,并等待它的完成。submit()方法中调用封装了大量的处理细节。2.mapred.job.tracker决定了执行MapReduce的方式,如果设置为local(默认值),则使用本地的作业运行器,运行器在单个JVM上运行整个作业。它被设...原创 2018-02-09 20:48:49 · 406 阅读 · 1 评论 -
Hadoop第七章
1.map和reduce函数的输入和输出是键值对。遵循如下常规格式:一般来说map函数的输入键值对类型不同于输出类型,虽然reduce函数的输入类型必须与map函数的输出类型相同,但是reduce函数的输出K3和V3类型可以不同于输入类型。2.Mapper和Reducer是单独的类,Mapper的KEYIN的实际参数类型参数和Reducer中同名的KEYIN类型参数可能不一致。类似的即使map输出...原创 2018-02-11 18:23:27 · 800 阅读 · 1 评论 -
Hadoop第五章
1.MapReduce变成遵循特定的流程,首先写map函授和reduce函数,最好使用单元测试来确保函数的运行符合预期。然后写一个驱动程序来运行作业,看这个驱动程序是否可以正确运行,一旦按预期通过小型数据集的测试,就可以考虑把它放到集群上去运行,这个时候可能会暴露更多的问题,可以通过扩展测试用例的方式改进mapper或者reducer。2.分布式程序的分析并不简单,Hadoop提供了钩子(ho原创 2018-02-07 00:23:06 · 292 阅读 · 1 评论