Hadoop开发环境搭建之Eclipse配置

0 主要参考教程

1 、厦门大学数据库实验室
2、JeffreyZhou的博客园

整个hadoop是基于Java开发的,所以要对hadoop进行一些稍微底层一点的开发,还是得编写java程序。那就必然少不了eclipse这一开发工具了。

1 安装Eclipse

1.1 在 Ubuntu 中安装 Eclipse,可从 Ubuntu 的软件中心直接搜索安装,在桌面左侧任务栏,点击“Ubuntu Software”。
ubuntu_software

1.2 直接在右上角搜索栏中,搜索“eclipse”,并点击安装,等待安装完成即可。默认的安装路劲是 /usr/lib/eclipse

2 安装Hadoop-Eclipse-Plugin

要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin,可下载hadoop2x-eclipse-plugin。下载地址:http://pan.baidu.com/s/1i4ikIoP

下载后,将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar (或者 2.2.0 和 2.4.1 版本)复制到 Eclipse 安装目录的 plugins 文件夹中,运行eclipse -clean 重启 Eclipse 即可(添加插件后只需要运行一次该命令,以后按照正常方式启动就行了)。具体操作如下:

$ unzip -qo ~/Downloads/hadoop2x-eclipse-plugin-master.zip -d ~/Downloads# 解压到 ~/Downloads中
$ sudo cp ~/Downloads/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/    # 复制到 eclipse 安装目录的 plugins 目录下
$ /usr/lib/eclipse/eclipse -clean    # 添加插件后需要用这种方式使插件生效

3 配置Hadoop-Eclipse-Plugin

在这一步开始前,请用jps命令查看一下,确认已经开启了hadoop。
  安装完插件,启动Eclipse后就可以在左侧的Project Explorer中看到DFS Locations了,说明上一步执行成功,接下来进行进一步的配置
  (1)打开Window-->Preference,配置Hadoop Map/Reduce,如图所示,配置Hadoop的安装目录(即HADOOP_HOME)
  hadoop-eclipse-1
  (2)切换Map/Reduce视图,打开Window-->Open Perspective-->Other,在其中选择Map/Reduce即可,此时在Eclipse软件的下面显示栏中可以看到多出来一个标签,如图所示,进行操作。
  在这里插入图片描述
  (3)建立与Hadoop集群的连接,建立New Hadoop Location后,对其进行配置,在本例中,与参考教程中的伪分布式配置不同,在这一点上面我开始没弄明白,直到后面再eclipse上编写MR程序时,在这一点上吃了大亏,详细信息记录在问题汇总的文章里,供自己以后参考。
    其中,Location name可以随便填,左侧的M/R Master按照图上所示,但右侧的DFS Master要根据配置文件((/usr/local/hadoop/etc/hadoop/core-site.xml)中的fs.defaultFS的值来填写。

fs.default

所以,此处的General配置如下:
在这里插入图片描述

4 Eclipse中Hadoop的基本操作

4.1 操作HDFS文件

在配置好上述步骤后,在左侧的Project Explorer中就可以直接看到HDFS的文件目录层次了,无需通过命令行进行操作,可以直接在文件/目录上右键操作。

在这里插入图片描述

  • 如果无法查看,可右键点击 Location 尝试 Reconnect 或重启 Eclipse
  • HDFS 中的内容变动后,Eclipse 不会同步刷新,需要右键点击 Project Explorer中的 MapReduce Location,选择 Refresh,才能看到变动后的文件。
4.2 创建MR项目

直接新建项目就行了。File-->New-->Project在此时弹出来的选择框中选择Map/Reduce Project。后续的new packagenew class都和java一样操作。
MR-1

4.3 运行MR程序

在前面搭建分布式环境的几篇文章中,在单机和完全分布式环境搭建成功后,我们都拿WordCount例子进行了测试,现在又弄好了Eclipse环境,免不了再煮一次这个万能的栗子。

  • (1)源程序,new class:
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

// Map过程
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{
	private final static IntWritable one = new IntWritable(1);
	private Text word = new Text();
	public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
	// key 是这一行数据的起始偏移量,value是这一行的文本内容
	System.out.println("key=" +key.toString());
	System.out.println("Value=" + value.toString());
// 切分单词,可以使用split()方法
	StringTokenizer itr = new StringTokenizer(value.toString());
//遍历单词数组,输出key-value的格式
	while (itr.hasMoreTokens()) {
		word.set(itr.nextToken());
		context.write(word, one);
	}
	}
}
// Reduce过程
public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
	private IntWritable result = new IntWritable();
	public void reduce(Text key, Iterable<IntWritable> values,Context context) 
	throws IOException, InterruptedException {
		int sum = 0;
		for (IntWritable val : values) {
			sum += val.get();
		}
		result.set(sum);
		context.write(key, result);
	}
}

// 主程序
public static void main(String[] args) throws Exception {
	Configuration conf = new Configuration();   // 配置文件
	// System.out.println("url:" + conf.get("fs.default.name"));  // deprecated
	System.out.println("url:" + conf.get("fs.defaultFS"));
	String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
	if (otherArgs.length != 2) {
		System.err.println("Usage: wordcount <in> <out>");
		System.exit(2);
	}
	// 获取一个作业
	// Job job = new Job(conf, "word count");  // deprecated
	Job job = Job.getInstance(conf,"wordcount");  // 用job的静态方法
	// 设置job所用的那些类(class)文件在哪个jar包
	job.setJarByClass(WordCount.class);
	// 设置所用的map reduce类
	job.setMapperClass(TokenizerMapper.class);
	job.setCombinerClass(IntSumReducer.class);  // 对每个节点的map输出进行combine
	job.setReducerClass(IntSumReducer.class);  // 对所有节点的输出进行reduce

// 设置数据输出类型
	job.setOutputKeyClass(Text.class);
	job.setOutputValueClass(IntWritable.class);
// 指定要处理的输入、输出路径,
	//此处为输入参数
	FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
	FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
	//此处为固定文件目录
	// FileInputFormat.addInputPath(job, "input");
	// FileOutputFormat.setOutputPath(job, "output");
// 将job提交给集群运行
	System.exit(job.waitForCompletion(true) ? 0 : 1);
}
  • (2)配置。在运行此程序前,还需一项配置:将几个hadoop的配置文件(/usr/local/hadoop/etc/hadoop中)core-site.xmlhdfs-site.xmllog4j.properties这三个文件复制到所要运行的项目下的 src 文件夹下,不然无法运行程序,而且也不要将所有配置文件复制过来,那样也会出错,详细情况及解释见问题汇总篇。
$ cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src
$ cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src
$ cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src

复制完成后将项目refresh,可以看到项目目录结构如图:

在这里插入图片描述

  • (3)运行程序。此程序为MR程序,而且程序中使用的输入、输出目录的HDFS中的文件夹,所以选择Run on Hadoop,若程序设置的的输入、输出目录为固定目录,则可以直接运行;若设置为参数,则选择Run As -> Run Configurations

在这里插入图片描述

在这里插入图片描述

5 后记

在eclipse刚搭建好后,可以多进行一些基本的程序测试,比如对DFS文件的基本操作(读,写,判断是否存在)。下次按照参考教材,写(抄)一个倒排索引的程序。

发布了57 篇原创文章 · 获赞 19 · 访问量 2万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie

分享到微信朋友圈

×

扫一扫,手机浏览