mapreduce程序编写（大数据学习跟进）

最新推荐文章于 2024-04-10 10:05:25 发布

myhirra

最新推荐文章于 2024-04-10 10:05:25 发布

阅读量7k

点赞数

分类专栏： hadoop 文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/myhirra/article/details/20627531

版权

在Windows上，通过Eclipse成功编写并运行了首个MapReduce程序。涉及步骤包括：创建Java项目，导入Hadoop相关jar包，实现单词计数功能，使用Eclipse导出jar包，然后通过SSH客户端将程序上传到Linux环境，最后使用Hadoop运行。注意，output目录需确保在运行前不存在。

摘要由CSDN通过智能技术生成

折腾了半天。终于编写成功了第一个自己的mapreduce程序，并通过打jar包的方式运行起来了。

运行环境：windows 64bit

eclipse 64bit

jdk6.0 64bit

一、工程准备

1、新建java project

2、导入jar包

新建一个user library 把hadoop文件夹里的hadoop-core和lib包里的所有包都导入进来，以免出错。

二、编码

1、主要是计算单词的小程序，测试用

package com.hirra;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Ge