Hadoop

原创 2012年03月29日 16:09:14
package com.ali.godar;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.lib.db.DBConfiguration;
import org.apache.hadoop.mapred.lib.db.DBOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class MergeData {

	public static class SpliterMapper extends Mapper<Object, Text, Text, Text> {

		private String[] keyIndex;
		private String[] valueIndex;
		private String seperator;
		private String[] metaDatas;

		private Text keyStrWord = new Text();
		private Text valueStrWord = new Text();

		private String getKey() {
			StringBuilder sb = new StringBuilder();
			for (String index : keyIndex) {
				sb.append(metaDatas[Integer.parseInt(index)].trim());
				sb.append(seperator);
			}
			if (sb.length() > 0) {
				sb.deleteCharAt(sb.length() - 1);
			}
			return sb.toString();
		}

		private String getValue() {
			StringBuilder sb = new StringBuilder();
			for (String index : valueIndex) {
				sb.append(metaDatas[Integer.parseInt(index)].trim());
				sb.append(seperator);
			}
			if (sb.length() > 0) {
				sb.deleteCharAt(sb.length() - 1);
			}
			return sb.toString();
		}

		private void configMaper(Context context, Text value) {
			Configuration conf = context.getConfiguration();

			// config seperator
			String sep = conf.get("maper.seperator", " ");
			this.seperator = sep.trim();

			String line = value.toString();
			metaDatas = line.split(seperator);

			String keyIndexStr = conf.get("maper.keys.index");
			keyIndex = keyIndexStr.split(",");

			String valueIndexStr = conf.get("maper.values.index");
			valueIndex = valueIndexStr.split(",");
		}

		public void map(Object key, Text value, Context context)
				throws IOException, InterruptedException {
			this.configMaper(context, value);
			String keyStr = getKey();
			String valueStr = getValue();
			keyStrWord.set(keyStr);
			valueStrWord.set(valueStr);
			context.write(keyStrWord, valueStrWord);
		}
	}

	public static class MergeDataReducer extends
			Reducer<Text, Text, Text, Text> {

		private String seperator;
		private int valueFieldCounts;

		private Text result = new Text();

		private void configReducer(Context context) {
			Configuration conf = context.getConfiguration();
			// config seperator
			String sep = conf.get("reducer.seperator", " ");
			this.seperator = sep.trim();

			String maperValueKeyStr = conf.get("maper.values.index");
			valueFieldCounts = maperValueKeyStr.split(",").length;

		}

		public void reduce(Text key, Iterable<Text> values, Context context)
				throws IOException, InterruptedException {
			this.configReducer(context);
			double[] sum = new double[valueFieldCounts];

			for (Text val : values) {
				int i = 0;
				String str = val.toString();
				String[] data = str.split(seperator);
				for (String metaData : data) {
					sum[i++] += Double.parseDouble(metaData);
				}
			}

			StringBuilder sb = new StringBuilder();
			for (double data : sum) {
				sb.append(data);
				sb.append(seperator);
			}
			sb.deleteCharAt(sb.length() - 1);

			result.set(sb.toString());
			key.set(key.toString());
			context.write(key, result);
		}
	}

	public static void main(String[] args) throws Exception {


		
		Configuration conf = new Configuration();

		String[] otherArgs = new GenericOptionsParser(conf, args)
				.getRemainingArgs();

		// System.out.println("otherArgs:");
		// for (String string : otherArgs) {
		// System.out.println(string);
		// }

		if (otherArgs.length < 6) {
			System.err
					.println("Usage: MergeData <in> <out> <maper.seperator> <maper.keys.index> <maper.values.index>");
			System.exit(2);
		}

//		hadoop jar merge.jar com.ali.godar.MergeData input/ out11 , 0,2 1
//		hadoop jar merge.jar com.ali.godar.MergeData input/ out11 , 0,2 1
		
		// conf.set("maper.seperator", ",");
		// conf.set("maper.keys.index", "0");
		// conf.set("maper.values.index", "1");
		// conf.set("reducer.seperator", ",");

		conf.set("maper.seperator", otherArgs[3]);
		conf.set("maper.keys.index", otherArgs[4]);
		conf.set("maper.values.index", otherArgs[5]);
		conf.set("reducer.seperator", otherArgs[3]);

		Job job = new Job(conf, "merge data");
		job.setJarByClass(MergeData.class);
		job.setMapperClass(SpliterMapper.class);
		job.setCombinerClass(MergeDataReducer.class);
		job.setReducerClass(MergeDataReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);

//		DBConfiguration.configureDB(job.get, "com.mysql.jdbc.Driver",
//				"jdbc:mysql://localhost:3306/school", "root", "root");

		FileInputFormat.addInputPath(job, new Path(otherArgs[1]));
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[2]));
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}

}

一张图回顾Hadoop十年:Hadoop老矣,尚能饭否?

Hadoop,十岁生日快乐!   于 2006 年 1 月 28 日诞生的它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。...
  • SJF0115
  • SJF0115
  • 2016年01月31日 10:42
  • 2332

hadoop计算平均值

初学hadoop,虽然感觉会写了一些程序,但是不看源码其实还是什么都不懂。 除了了解...
  • yapuge
  • yapuge
  • 2014年04月23日 16:37
  • 1503

Hadoop “Hello World” 示例

Hadoop是一个Apache软件基金会项目。 它是源自Google MapReduce和Google文件系统的开源版本。它设计用于跨越通常在商品标准硬件上运行的系统集群的大数据集的分布式处理。Had...
  • boonya
  • boonya
  • 2017年01月20日 11:26
  • 2669

hadoop入门教程-程序小实例

无论是在微信还是QQ,我们经常看到好友推荐这样的功能,其实这个功能是在大数据的基础上实现的,下面来看具体的代码实现: 在src下添加三个类:JobRun.java: package com.lft...
  • u010158267
  • u010158267
  • 2016年03月31日 22:09
  • 855

Hadoop的一些基础知识

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点...
  • leiline
  • leiline
  • 2017年03月31日 15:30
  • 844

Hadoop:启动与停止命令

Hadoop认证培训:启动与停止命令,在安装配置了Hadoop的伪分布式环境后就可以启动Hadoop了,首先需要格式化HDFS分布式文件系统,进入Hadoop的bin目录,操作命令如下: had...
  • oraclestudyroad
  • oraclestudyroad
  • 2016年07月25日 09:08
  • 24573

hadoop window win10 基础环境搭建

下面运行步骤除了配置文件有部分改动,其他都是参照hadoop下载解压的share/doc/index.html。 hadoop下载:http://apache.opencas...
  • futudeniaodan
  • futudeniaodan
  • 2017年05月26日 22:52
  • 3511

史上最详细的Hadoop环境搭建

GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要,...
  • hliq5399
  • hliq5399
  • 2017年10月10日 15:23
  • 5508

Hadoop学习笔记(一)从官网下载安装包

Hadoop是一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。要学习Hadoop从下载安装包开始打开H...
  • testcs_dn
  • testcs_dn
  • 2014年10月03日 18:18
  • 18203

集成Hadoop到数据中心

集成Hadoop到数据中心主要通过有Hadoop的数据中心与没有Hadoop的数据中心之间对比,以及使用Hadoop之后带来的数据流的一些改变等方面进行阐述,对于直观了解Hadoop的应用有着一定作用...
  • dashujuedu
  • dashujuedu
  • 2016年12月12日 14:36
  • 1545
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop
举报原因:
原因补充:

(最多只允许输入30个字)