大数据
文章平均质量分 72
beyond_qjm
这个作者很懒,什么都没留下…
展开
-
Mysql 数据导入 Hbase
目录一、前言二、使用sqoop遇到的问题三、项目搭建(maven项目)四、项目重点五、项目代码六、数据实时同步一、前言在大数据项目中需要做数据迁移时,我们第一时间总会想到sqoop。sqoop是apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具,使用才来也很方便。但因项目需求在使用sqoop是遇到了一些问题,所以决定自己开发一个一个项目解决...原创 2018-11-01 17:58:05 · 1292 阅读 · 0 评论 -
Mysql 数据实时同步hbase
一、前言要实时同步数据,首先要能实时的监控到数据库数据的变化,可以使用canal、Maxwell 等工具完成。我选用canal,因为它更灵活,更合格我的项目需求。二、通过canal监控数据库数据变化Canal安装教程:https://www.aliyun.com/jiaocheng/1117575.html三、项目整体架构项目整体架构、离线同步:https://blog.csd...原创 2018-11-01 18:33:54 · 6242 阅读 · 1 评论