- Linux系统(Ubuntu14.10)下Hadoop开发环境搭建
下载Eclipse,解压安装,下载hadoop-eclipse-plugin-2.5.1.jar插件,放至/eclipse/plugins/目录下。创建hadoop连接。这样就可以用eclipse编写Hadoop程序,调试正确后,就可以打成jar包,提交到Hadoop分布式集群中运行。注意,在Eclipse中运行程序,并没有提交到Hadoop集群中去。 - Eclipse中编写Hadoop程序
由于Hadoop插件装好了,Eclipse中会出现一个“Map/Reduce Project”选项,根据自己的需求,编写Hadoop程序代码。调试之后,就可以打包了。打包的方式基本有两类,一类用jar命令,另一类就是Eclipse自己Export打包。这里选择第一类,比较方便。 - jar打包命令
在终端输入jar打包命令,并指定主类:jar -cvfe filename.jar package1.package2.MainClassName package1/package2/MainClassName.class。注意,这个命令执行时,要先切换用户(Eclipse拥有者用户),并进入Eclipse工程文件下的bin目录。 - 提交jar包到Hadoop分布式集群上运行
切换到Hadoop用户,将filename.jar复制到Hadoop目录下,通过命令运行jar包: bin/hadoop jar filename.jar - 打包及运行的终端命令
Linux下用Eclipse开发调试Hadoop程序后打jar包后,到Hadoop集群上运行
最新推荐文章于 2022-10-17 22:53:56 发布