关系数据库与非关系数据库自动化数据专递--mysql转移数据至hbase/sqoop(import/job)/rowKey设计/crontabs定时器/Phoenix
工作中涉及到了关系数据库和非关系数据库的数据转换,即mysql和hbase之间的数据转换,这里用到了sqoop进行数据转移。对hbase的操作除了自带的一些api,还用到了phoenix。使用crontabs定时完成sqoop创建的job的shell脚本完成自动化执行。通过phoenix链接hbase,再用scala语言,通过spark完成具体的大数据操作。
这里总结了一些具体用到的操作,刚开始写博客,有很多地方需要向前辈好好学习!加油!
文中若有内容错误,还请评论指出!谢谢!
文章目录@[toc]1. h
原创
2020-06-05 15:43:26 ·
292 阅读 ·
0 评论