最近因实习需要开始摆弄起了hadoop和spark相关的,记录一下我踩过的坑。由于linux下不好调试程序,因此记录一下用windows下的eclipse调试MapReduce程序。
环境:虚拟机VMware搭建的Ubuntu16.0.4集群,一个master,两个slaves
windows环境:64位,eclipse版本:Oxygen JAVA SE
准备环境:三台集群都搭好,其上能跑hadoop程序,这些我都已经自己试过了,通过在windows下写好的MapReduce程序能够打成jar包发送到集群上去跑。windows下也需要准备hadoop包,eclipse连接hadoop的插件,我这里用的是2.7.3版本的插件+2.6.5版本的hadoop包,由于windows环境的和linux环境不一样,因此hadoop包必须是经过处理的。有博客说这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。但是我试过还是要处理一下才行。
我这里用的插件是这个,1、将这个插件放入eclipse安装目录下的plugins插件中,重启eclipse。
2、此时打开eclipse,在window-->prefrences下可以发现多了一个Hadoop Map/reduce