Hadoop
托狸
有心情上来看看
展开
-
Hadoop 常用参数项整理
Hadoop 常用参数项整理常用重写函数(代码案例整理自网上)学习了Hadoop有一小段时间了,简单的了解了hadoop的原理,也尝试着编写代码解决一些实际的问题。在这里也对hadoop常用,实践中可调整的一些参数项进行了整理。1. Partitioner Shuffle 阶段在Map端的核心。决定了Mapper的输出将由哪一个reducer处理 public static class MyPar原创 2016-01-27 23:37:05 · 602 阅读 · 1 评论 -
# 从零开始搭建Hadoop2.7.1的分布式集群
从零开始搭建Hadoop2.7.1的分布式集群Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。网上教程有很多关于Hadoop配置的,但是每一个教程都对应了一个版本信息,有一些教程也存在很大的问题,配置环境,系统环境都没说清楚。在此我将记录下来从零搭建Hadoop2.7原创 2016-01-17 21:49:43 · 17685 阅读 · 20 评论