mapReduce 将csv文件从本地或者hdfs 导入 hbase表

最新推荐文章于 2023-11-19 23:04:01 发布

一颗很菜的菜

最新推荐文章于 2023-11-19 23:04:01 发布

阅读量2.5k

点赞数

分类专栏： HBase 文章标签： HBase HDFS

本文链接：https://blog.csdn.net/true1cc/article/details/79141023

版权

本文介绍如何利用MapReduce将CSV文件从本地文件系统或HDFS批量导入到HBase数据库中，涉及Hadoop MapReduce、HDFS和HBase的集成操作。

摘要由CSDN通过智能技术生成

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import java.io.IOException;


public class HdfsToHBase {
public static void main(String[] args)throws Exception {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","master:2181,slave1:2181,slave2:2181");//当然这些都可以作为参数传入，这里只是实验，所以写死在了代码里，实际成产