从hbase到hbase数据传输

最新推荐文章于 2022-01-31 23:07:11 发布

wangfutai91

最新推荐文章于 2022-01-31 23:07:11 发布

阅读量351

点赞数

分类专栏： hbase 大数据

本文链接：https://blog.csdn.net/suojie123/article/details/86309852

版权

本文介绍了如何使用MapReduce从一个HBase实例迁移到另一个HBase实例。通过自定义的Map和Reduce步骤，以及Runner实现数据的高效转移。该过程涉及对HBase表的扫描、数据映射以及在目标HBase中的写入操作。

摘要由CSDN通过智能技术生成

1.map

package mr.hdfstoHbase.HbaseTOHbase;

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;

import java.io.IOException;
import java.util.HashMap;
import java.util.List;

public class HbasetoHbaseMapper extends TableMapper<Text, MyTableWritable> {
    private Text mapKey = new Text();
    private MyTableWritable mapValue = new MyTableWritable();

    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {

        String str = Bytes.toString(key.get());
        mapKey.set(str);

        List<Cell> cells = value.listCells();

        HashMap<String, String> cellMap = new HashMap<>();
        for (Cell tmp : cells
        ) {
            String family = Bytes.toString(tmp.getFamilyArray(), tmp.getFamilyOffset(), tmp.getFamilyLength());
            String qKey = Bytes.toString(tmp.getQualifierArray(), tmp.getQualifierOffset(), tmp.getQualifierLength());
            String values = Bytes.toString(tmp.getValueArray(), tmp.getValueOffset(), tmp.getV