eclipse搭建Hadoop（2.7.3）开发环境遇到的问题及应对办法

最新推荐文章于 2020-08-10 16:21:36 发布

bymain

最新推荐文章于 2020-08-10 16:21:36 发布

阅读量341

点赞数

分类专栏： hadoop 文章标签： hadoop eclipse plugins log4j配置

本文链接：https://blog.csdn.net/liang202/article/details/77936104

版权

本文介绍了在eclipse Mars.2上搭建Hadoop 2.7.3开发环境时遇到的问题及解决方法，包括添加hadoop-eclipse-plugin-2.7.3.jar插件，连接伪分布式环境，以及解决运行wordCount报错的问题。通过设置环境变量、拷贝配置文件和winutils.exe等，最终成功运行并增加了日志输出。

摘要由CSDN通过智能技术生成

开发环境：
eclipse Mars.2 Release (4.5.2)
Hadoop 2.7.3

添加hadoop-eclipse-plugin-2.7.3.jar到eclipse的plugins目录下。
hadoop-eclipse-plugin-2.7.3.jar 下载地址

连接伪分布式环境（centos6.5 + hadoop 2.7.3）：
这里写图片描述
连接成功如下：

本地测试wordCount

package wordCount;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

    public sta