hadoop
简单cy
这个作者很懒,什么都没留下…
展开
-
MapReduce执行流程
一 Map端(针对一个map task进行说明) 1 输入(inputspilt)(1)计算并生成inputspilt,其大小可以设置,默认inputspilt的大小是一个block的大小;(2)最好将inputspilt的大小设置和block大小相同,这样可以避免一个inputspilt跨多个block,如果多个block分布在不同的datanode上,这样需要到多个data原创 2014-07-05 21:53:15 · 377 阅读 · 0 评论 -
mapreduce 实现单表关联
输入:child parenttom jacktom lucyjone jackjone lucyjack benjack alicelucy fredlucy jin输出:grandchild grandparenttom bentom alicetom fredtom jinjone benjone alicejo原创 2016-10-20 17:22:11 · 402 阅读 · 0 评论