从hdfs中读取文件到hbase

核心代码:

1.只有mapper

public void map(LongWritable key, Text value,

                OutputCollector<K, V> output, Reporter reporter)
                throws IOException {
            if (isValidLine(value.toString())) {
                byte[] rowKey = makeRowKey(getFields(value.toString()));
                Put p = new Put(rowKey);
                String family = "fam1";
                String columnName = "col1";
                String columnValue = "val1";
                p.add(Bytes.toBytes(family), Bytes.toBytes(columnName), Bytes.toBytes(columnValue));
                table.put(p);
            }

        }

2.mapper和reduce

protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
context.write(new ImmutableBytesWritable(Bytes.toBytes(key.get())), value);
}

public void reduce(ImmutableBytesWritable key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
        String valueCon=null;
        for(Text text:values){
        valueCon+=text.toString();
        }
            Put put = new Put(key.get());
            put.add(family, qualifier, Bytes.toBytes(valueCon));
            context.write(key, put);
        }

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值