linux上安装eclipse并配置mapreduce程序开发环境

我们打算在linux（centos）上安装eclipse，并配置好mapreduce程序开发环境。

第一步：下载并安装eclipse（前提是已经安装好JDK）

在linux系统中打开浏览器，输入网址：http://archive.eclipse.org/eclipse/downloads/我们选择3.7.2版本。

下载下来后，文件存在于：

[liuqingjie@master Downloads]$ ll

total 178052

-rw-rw-r--. 1 liuqingjie liuqingjie 182321299 May 13 05:16 eclipse-SDK-3.7.2-linux-gtk.tar.gz

复制到主目录并解压

[liuqingjie@master Downloads]$ cp eclipse-SDK-3.7.2-linux-gtk.tar.gz /home/liuqingjie/

[liuqingjie@master ~]$ tar -zxvf eclipse-SDK-3.7.2-linux-gtk.tar.gz

启动eclipse (前提是进入图形界面 ):

[liuqingjie@master ~]$ cd eclipse

[liuqingjie@master eclipse]$ ./eclipse 

第二步：配置mapreduce程序开发环境

 1.将hadoop-0.20.2-eclipse-plugin.jar （在hadoop-0.20.2/contrib/eclipse-plugin目录下）复制到eclipse/plugins目录下，并重启eclipse。

2.配置Hadoop安装目录（目的：在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入）

window->preference

2.打开mapreduce视图

window->open perspective->other，选择Map/Reduce，图标是蓝色的大象：

3.添加一个mapreduce环境

在eclipse下端，控制台旁边会多一个Tab，叫“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”，如图所示：

在弹出的对话框中填写如下内容：

Location name（随便取个名字）
Map/Reduce Master（Job Tracker的IP和端口，根据mapred-site.xml中配置的mapred.job.tracker来填写）
DFS Master（Name Node的IP和端口，根据core-site.xml中配置的fs.default.name来填写）

4.使用eclipse对hdfs操作

经过上一步骤，左侧“Project Explorer”中应该会出现配置好的HDFS，点击右键，可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

注意：每一次操作完在eclipse中不能马上显示变化，必须得刷新一下。

 

5.创建mapreduce工程

1）File -> New -> Project 选择“Map/Reduce Project”，然后输入项目名称，创建项目。

2）编写mapreduce程序

3）配置运行参数

Run Configrations，选择mapreduce程序，在Arguments中配置运行参数：hdfs输入和输出目录配置以及eclipse运行堆内存配置。

4）运行

控制台会输出相关的运行信息。注意：运行之前确保hdfs系统中没有输出目录。

转载于:https://blog.51cto.com/4649608/1651106