【硬刚Hbase】Hbase基础（十九）：亿级数据从 MySQL 到 Hbase 的三种同步方案与实践（三）同步利器

王知无(import_bigdata)

已于 2022-03-12 12:40:53 修改

阅读量372

点赞数

分类专栏： Hbase系统性学习专栏文章标签： hbase mysql big data

于 2021-09-19 23:07:51 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/120386100

版权

Hbase系统性学习专栏专栏收录该内容

20 篇文章 2 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了三种将亿级数据从MySQL同步到Hbase的方法：使用Sqoop简单导入，通过Kafka-Thrift实时同步，以及利用Kafka-Flink进行流处理同步。在 Sqoop 方案中，强调了数据切分的重要性以避免崩溃。Kafka-Thrift 方案结合Maxwell从MySQL binlog获取变更并写入Hbase。最后，通过Flink进行实时数据同步，提供高效率和灵活性。

摘要由CSDN通过智能技术生成

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hbase部分补充。

4.1 简单粗暴Sqoop

首先来回顾一下Sqoop架构图：

架构图

这里大家记住一个规则：大数据需要切分！如果不切分，这个亿级数据直接导入会崩溃！！！

★
什么是Sqoop?
”

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具，可以将一个关系型数据库中的数据导进到Hadoop的HDFS或者HBase等。

sqoop核心参数与代码解释：

sqoop import 
--connect jdbc:mysql://localhost:3306/loaddb 
--username root 
--password xxxx 
--query "${sql}" 
--hbase-row-key id 
--hbase-create-table 
--column-family in

了解本专栏