大数据 (十)Hadoop-第一次使用eclipse&java&hadoop分析简单数据

3549人阅读 评论(1) 收藏 举报
分类:

源码:http://download.csdn.net/detail/jintaohahahaha/9919467

一、打开eclipse

二、新建java项目mapreducer

三、项目下新建lib文件夹,导入hadoop相关jar,jar在源码中有

四、项目下建包,写如下三个类

1、WorldCountMapper.java

package com.zjt.mapreducer.data;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.util.StringUtils;

/**
 * 执行统计单词数量的map程序
 * @author ZhangJintao
 * 		Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
 * 			KEYIN ----   输入数据的键
 * 			VALUEIN ----  输入数据的值
 * 			KEYOUT ---- 输出数据的键
 * 			VALUEOUT ----  输出数据的值
 */
public class WorldCounteMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
	@Override
	/**
	 * 父类的map方法,循环调用
	 * 从split碎片段中每行调用一次
	 * 把该行所在下标为key,该行的值为value
	 * 【功能:将单词以map输出】
	 */
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		String[] words = StringUtils.split(value.toString(), ' ');
		for (String w : words) {
			context.write(new Text(w), new IntWritable(1));
		}
	}
}
2、WorldCountReducer.java

package com.zjt.mapreducer.data;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WorldCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
	@Override
	/**
	 * 循环调用
	 * 洗牌完毕分好组后,每组调用一次
	 * 【功能:计算单词出现次数】
	 */
	protected void reduce(Text arg0, Iterable<IntWritable> arg1,
			Reducer<Text, IntWritable, Text, IntWritable>.Context arg2) throws IOException, InterruptedException {
		int sum = 0 ;
		for(IntWritable i : arg1){
			sum += i.get();
		}
		arg2.write(arg0, new IntWritable(sum));
	}
}
3、RunJob.java

package com.zjt.mapreducer.data;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 执行方法
 * @author ZhangJintao
 */
public class RunJob {
	public static void main(String[] args) {
		Configuration config = new Configuration();
		try {
			FileSystem fs = FileSystem.get(config);
			
			Job job = Job.getInstance();
			//执行mapreducer任务
			job.setJarByClass(RunJob.class);
			job.setJobName("data");
			
			job.setMapperClass(WorldCounteMapper.class);
			job.setReducerClass(WorldCountReducer.class);
			
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);
			
			FileInputFormat.addInputPath(job, new Path("/usr/input/"));
			Path outpath  = new Path("/usr/input/data");
			if (fs.exists(outpath)) {
				fs.delete(outpath, true);
			}
			FileOutputFormat.setOutputPath(job, outpath);
			
			boolean f = job.waitForCompletion(true);
			
			if (f) {
				System.out.println("JOB 执行成功");
			}
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
}
五、打jar包

六、上传测试数据

       

        其中data.txt内容如下

hadoop hello world
hello hadoop
hbase zookeeper

六、运行程序

        将我们打的jar上传至任何一台节点主机,远程登录节点主机,进入jar包所在目录,执行如下命令

    hadoop jar wc.jar com.zjt.mapreducer.data.RunJob
        执行后,我们可以看到控制台会提示信息。

     

        我们进入网页http://192.168.1.201:8088/cluster/apps后点击 Applications可以看到下图所示

  
       执行完毕之后,在此进入eclipse

       

        刷新后会发现多了如下几个文件夹和文件

     

        通过结果文件可知,她帮我们统计出了data.txt中hadoop单词有两个、hbase有一个、hello有两个、world有一个、zookeeper有一个

查看评论

使用Hadoop分析数据——简单案例java语言编程之MaxTemperature

为了充分发挥Hadoop提供的并行处理优势,我们需要将查询表示成MapReduce作业。经过一些本地的小规模测试,我们将能够在集群设备上运行Hadoop。   Map阶段和reduce阶段    ...
  • uniquewonderq
  • uniquewonderq
  • 2016-02-04 16:18:27
  • 4411

eclipse下操作hadoop处理文件的简单的例子

一、环境和上一篇的一样,这里就不再赘述 二、 1.进入linux,运行hadoop,在linux下新建一个hello文件vi hello2.输入以下数据,中间用table建隔开 3.上传到h...
  • two_people
  • two_people
  • 2017-05-15 20:30:42
  • 298

如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子

如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子,可以给大家参
  • WhatSpace
  • WhatSpace
  • 2017-07-18 10:44:42
  • 172

Hadoop (十)Hadoop-第一次使用eclipse&java&hadoop分析简单数据

  • 2017年08月03日 00:44
  • 29.36MB
  • 下载

eclipse+hadoop2.6.x环境搭建总结

目的 完成eclipse + hadoop2.6.x 开发环境搭建 ; 常见错误总结 ; 大数据等综合技术积累 . 环境搭建 推荐参考文章 (已比较全面,不在赘述) 搭建Hado...
  • qq_24452475
  • qq_24452475
  • 2018-03-21 23:54:07
  • 19

Eclipse实现Hadoop WordCount

首先,安装eclipse,下载 hadoop-eclipse-plugin, https://github.com/winghc/hadoop2x-eclipse-plugin,将下载好的jar包放到...
  • u011068475
  • u011068475
  • 2016-11-29 17:22:57
  • 293

基于Greenplum Hadoop-分布式平台的大数据解决方案

  • 2014年05月09日 23:26
  • 2.27MB
  • 下载

大数据应用以及原理分析

大数据应用以及原理分析
  • zhx278171313
  • zhx278171313
  • 2014-03-12 23:20:40
  • 4666

如何使用eclipse调试Hadoop作业

使用eclipse来调试hadoop作业是非常简洁方便的,散仙以前也有用eclipse开发过hadoop程序,但是一直没有深入了解eclipse调试的一些模式,有些时候也会出一些莫名奇妙的异常,最常见...
  • joeyon
  • joeyon
  • 2014-11-20 15:02:25
  • 436
    个人资料
    持之以恒
    等级:
    访问量: 6万+
    积分: 1420
    排名: 3万+
    最新评论