mapreduce
冽夫
这个作者很懒,什么都没留下…
展开
-
WordCount.java
import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.In...原创 2020-02-26 20:48:28 · 658 阅读 · 0 评论 -
在win中用MapReduce处理HBase出错:XXX.jar is not a valid DFS filename
原因:Hadoop文件系统检查路径时没有区分是本地windows系统还是Hadoop集群文件系统解决:只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false(默认为true)参考:https://www.iteye.com/blog/zy19982004-2029740还有一个神仙解答:https://blog.csdn...转载 2019-12-12 22:34:55 · 355 阅读 · 0 评论 -
centOS7.3__eclipse在hadoop集群平台上的安装配置
首先centOS需要一个桌面环境,才能用远程桌面对eclipse进行开发使用。[hadoop@master ~]$ sudoyum groupinstall "GNOME Desktop" "Graphical Administration Tools"下面这个命令好像可以看你装的桌面有哪些。[hadoop@node1 system]$ yum grouplist这里的远程桌面工...原创 2019-04-28 20:54:00 · 396 阅读 · 0 评论 -
hadoop 2.7.3 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.3.jar
https://www.cnblogs.com/zhangchao0515/p/7099002.html转载 2019-04-28 20:56:08 · 378 阅读 · 0 评论 -
解析Hadoop新一代MapReduce框架Yarn
更快、更强——解析Hadoop新一代MapReduce框架Yarn-CSDN.NET http://www.csdn.net/article/2014-02-10/2818355Yarn架构Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。有一个全局的ResourceManager(RM)和每个Application有一...转载 2019-06-09 15:55:38 · 253 阅读 · 0 评论