博客专栏  >  云计算/大数据   >  Hadoop从入门到放弃

Hadoop从入门到放弃

主要介绍hadoop的各种使用技巧,优化技巧,源码阅读

关注
1 已关注
7篇博文
  • mapreduce程序中避免reduce输出空文件

    在mapreduce里,如果某个reduce输出为空,默认也会生成一个大小为0的文件。原因是reduce写的时候,不知道会不会有输出数据,所以默认初始化了一个文件。如果没有输出,close文件最终会生...

    2018-05-09 11:24
    971
  • 新旧Java MapReduce API的差异

    摘录自 Hadoop权威指南 1、版本区别Hadoop在0.20.0版本中第一次使用新的API,部分早期的0.20.0版本不支持使用旧的API,但在接下来的1.x和2.x版本中新旧API都可以使用。新...

    2015-01-12 13:59
    2828
  • Hadoop 常见错误处理

    【错误1】 12/12/05 23:11:45 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of ...

    2012-12-06 15:09
    1356
  • MapReduce任务中文部分正常,部分乱码

    集群上提交的mr任务,发现结果中有的中文正常,有的中文是论码。 分析了一下,应该是集群中hadoop节点的编码配置不一样。可以加上下面的参数: mapred.child.env="LANG=en_...

    2017-02-20 10:29
    647
  • hadoop节点字符编码导致的reduce重复记录问题排查

    hadoop节点字符编码导致的reduce重复记录问题排查

    2017-08-25 09:58
    23462
  • hadoop中查找某个字符串所在的hdfs位置

    hadoop中查找某个字符串所在的hdfs位置

    2017-08-29 09:38
    1224
  • mapreduce中split划分分析(新版api)

    面试的过程中,笔者经常喜欢问一个问题:hadoop中map数是怎么确定的?但发现还是有好多面试者都答不上来。这个问题其实算是比较基础的一个问题,对于理解mapreduce的原理很有帮助。 今天有空结...

    2018-01-27 10:19
    6740

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部