HBase——使用Put迁移MySql数据到Hbase

最新推荐文章于 2021-11-17 17:32:39 发布

水田如雅

最新推荐文章于 2021-11-17 17:32:39 发布

阅读量1k

点赞数

分类专栏：非关系型数据库大数据文章标签： mysql 迁移数据 hbase hadoop

本文链接：https://blog.csdn.net/lhc1105/article/details/53487773

版权

大数据同时被 2 个专栏收录

23 篇文章 7 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

非关系型数据库

10 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Put操作将MySQL数据迁移至HBase。在单机版HBase环境中，尝试迁移了300多万条记录，由于未加limit导致堆栈溢出。最终测试迁移10000条数据，速度较快，但该方法不适用于大规模数据导入。

摘要由CSDN通过智能技术生成

先上code:

/**
 * 功能：迁移mysql上电池历史数据到hbase
 * Created by liuhuichao on 2016/12/6.
 */
public class MySqlToHBase {

    /**
     * 获取表
     * @param tableName
     * @return
     * @throws IOException
     */
    private  HTable connectHBase(String tableName) throws IOException{
        HTable table=null;
        Configuration conf= HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","lhc-centos");
        table=new HTable(conf,tableName);
        return table;
    }

    /**
     * 获取mysql连接
     * @return
     * @throws Exception
     */
    private  java.sql.Connection conne

了解本专栏