Hadoop Mapper 阶段将数据直接从 HDFS 导入 Hbase数据源格式如下:

原创 2013年12月06日 10:40:36

数据源格式如下:

1 20130512    1   -1  -1  13802   1   2013-05-12 07:26:22
2 20130512    1   -1  -1  13802   1   2013-05-12 11:18:24

创建hbase的表:


HDFS文件目录:


我们期待的结果是数据直接从 hdfs 读取后 写入 hbase,没有 reduce 阶段,

代码如下:

package dbinput;

import java.io.File;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import test.EJob;

public class Map2Hdfs {

	public static final String NAME = "ImportFromFile";

	public enum Counters {
		LINES
	};

	public static class ImportMapper extends
			Mapper<LongWritable, Text, ImmutableBytesWritable, Writable> {
		private byte[] family = null;
		private byte[] qualifier = null;

		@Override
		protected void setup(Context context) throws IOException, InterruptedException {
			String column = context.getConfiguration().get("conf.column");
			byte[][] colkey = KeyValue.parseColumn(Bytes.toBytes(column));
			family = colkey[0];
			if (colkey.length > 1) {
				qualifier = colkey[1];
			}
		}

		@Override
		public void map(LongWritable offset, Text line, Context context)
				throws IOException, InterruptedException {
			String[] lineArr = line.toString().split("\t");
			Put put = new Put(Bytes.toBytes(offset + ""));
			put.add(family, Bytes.toBytes("time"), Bytes.toBytes(lineArr[lineArr.length - 1]));
			context.write(new ImmutableBytesWritable(Bytes.toBytes(offset + "")), put);
			context.getCounter(Counters.LINES).increment(1);
		}
	}

	public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
		File jarfile = EJob.createTempJar("bin");
		EJob.addClasspath("usr/hadoop/conf");
		ClassLoader classLoader = EJob.getClassLoader();
		Thread.currentThread().setContextClassLoader(classLoader);
		Configuration conf = new Configuration();
		conf.set("mapred.job.tracker", "172.30.1.245:9001");
		conf.set("hbase.zookeeper.property.clientPort", "2222");
		conf.set("hbase.zookeeper.quorum", "172.30.1.245");
		conf.set("hbase.master", "172.30.1.245:600000");
		conf.set("hbase.nameserver.address", "172.30.1.245");
		conf.set("conf.column", NAME);
		
		Job job = new Job(conf, "TestMap2Hdfs");
//		job.setJarByClass(Map2Hdfs.class);
		((JobConf) job.getConfiguration()).setJar(jarfile.toString());
		job.setMapperClass(ImportMapper.class);
		job.setOutputFormatClass(TableOutputFormat.class);
		job.getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, "TestMap2Hdfs");
		job.setOutputKeyClass(ImmutableBytesWritable.class);
		job.setOutputValueClass(Writable.class);
		job.setNumReduceTasks(0);
		FileInputFormat.addInputPath(job, new Path("hdfs://172.30.1.245:9000/user/hadoop/hdfs2hbase"));
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}

运行结果:



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop Mapper 阶段将数据直接从 HDFS 导入 Hbase

数据源格式如下:
  • jdbc
  • jdbc
  • 2014-08-26 18:35
  • 897

大数据基础(二)hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出

mave, hbase, hive, sqoop在hadoop2.6 ubuntu 14.04.04下的安装 2016.05.15 本文测试环境: hadoop2.6.2 ubuntu 14.04.0...

Hadoop数据工具sqoop,导入HDFS,HIVE,HBASE,导出到oracle

1. sqoop从oracle导入到HDFS [hadoop@slave-245 ~]$ sqoop import --append --connect jdbc:oracle:thin:@172.3...

大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

HDFS的体系架构        整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。       ...

Thinking in BigDate(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。       通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、...
  • tzdjzs
  • tzdjzs
  • 2014-03-08 13:24
  • 1015

大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。       通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、H...

Thinking in BigData(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结,对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapRe...
  • yczws1
  • yczws1
  • 2014-02-14 00:13
  • 15453
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)