hadoop相关
关注
分享
扫一扫
且_听_风_吟
2018年至今java后端，spring boot 、cloud项目设计管理，微服务开发模式下的高并发和分布式整体架构研究。
2015-2017年主要做传统java web ssh服务，传统的集群、分布式架构设计。
了解前端、安卓开发;
展开
-
使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6)
1.前言网上的很多教程都是基于hadoop单机或者是伪分布式的,在HA集群的hadoop是有些不一样的;所以写个hadoop-eclipse-plugin连接HA hadoop 集群的说明;2.查看hadoop配置文件并配置DFS Master查看hadoop/etc/hadoop下的配置文件;hdfs-site.xml ----->找到dfs.namenode.rpc-ad原创 2016-03-18 13:41:38 · 6727 阅读 · 0 评论 -
MapReduce在Eclipse上调试(利用Tool20160324)
1.目前Mapreduce的调试有如下几种方法1.打包类,手动上传到hadoop部署环境运行;2.使用hadoop的Eclipse插件;3.使用toolRunner工具类;本文介绍第三种;2.原理实现调试的核心内容是让MapReduce能够引入使用第三方jar包(包括自己写的类编译成的jar包);要想让mapreduce程序引用第三方jar文件, 可以采用如原创 2016-03-24 10:29:17 · 1476 阅读 · 0 评论