【硬刚Hbase】Hbase基础（十八）：亿级数据从 MySQL 到 Hbase 的三种同步方案与实践（二）亿级MySQL数据插入

王知无(import_bigdata)

已于 2022-03-12 12:44:17 修改

阅读量481

点赞数

分类专栏： Hbase系统性学习专栏文章标签： hbase 机器学习算法

于 2021-09-19 22:38:20 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/120385764

版权

Hbase系统性学习专栏专栏收录该内容

20 篇文章 2 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了将亿级数据从MySQL迁移到Hbase的三种同步方案，包括`load data infile`、Python多线程插入和性能对比。`load data infile`方法在大数据导入中表现出高效率，而Python多线程插入通过文件切分和批量操作提高速度。对比显示`load data infile`比传统`insert`方法快得多，主要归因于不同的数据处理和索引更新机制。

摘要由CSDN通过智能技术生成

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hbase部分补充。

本节题目为：亿级数据从 MySQL 到 Hbase 的三种同步方案与实践，首先需要了解如何快速插入MySQL。

那么MySQL数据插入将会从以下几个方法入手：

load data infile
Python 单条插入
Python 多线程插入

当然也可以使用其他语言进行实现！！！

下面来逐步谈谈数据插入！

数据插入之前，需要了解我们的数据，先来看一下数据字段描述：

数据以ASCII文本表示，以逗号为分隔符，以回车换行符(0x0D 0x0A)结尾。数据项及顺序：车辆标识、触发事件、运营状态、GPS时间、GPS经度、GPS纬度,、GPS速度、GPS方向、GPS状态
车辆标识：6个字符
触发事件：0=变空车，1=变载客，2=设防，3=撤防，4=其它
运营状态：0=空