![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
龙子木
这个作者很懒,什么都没留下…
展开
-
Hadoop伪分布式环境搭建
Hadoop伪分布式环境搭建原创 2017-05-16 21:33:30 · 3239 阅读 · 1 评论 -
Hadoop分布式集群环境搭建
Hadoop分布式集群环境搭建原创 2017-05-17 16:11:30 · 2758 阅读 · 0 评论 -
MapReduce八股文模板
package com.bruce.mapreduce;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.ha原创 2017-06-07 22:34:51 · 3036 阅读 · 0 评论 -
MapReduce自带wordcount的实现
package com.bruce.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.原创 2017-06-07 22:36:27 · 2676 阅读 · 0 评论 -
Hadoop-2.4.1学习之如何确定Mapper数量
MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务,那如何确定mapper和reducer的数量呢,或者说如何以编程的方式控制作业启动的mapper和reducer数量呢?在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.75 ) * 节点数量 * 每个节点上最大的容器数,并可使用方法Job.setNu转载 2017-06-20 23:32:42 · 345 阅读 · 0 评论 -
hadoop异常(ssh公钥认证)
[hadoop@bruce02 hadoop]$ start-dfs.shStarting namenodes on [bruce02.mydomain]bruce02.mydomain: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).Starting datanodeslocalhost: Perm...原创 2018-04-21 14:23:12 · 1442 阅读 · 0 评论