![](https://img-blog.csdnimg.cn/54cf5a2ece684935b194fb631e620a7d.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Sqoop
文章平均质量分 79
收录Sqoop日常运维开发相关文章
赵延东的一亩三分地
《Oracle数据库专家认证》《华为Bigdata专家认证》《阿里云专家博主》《华为云·云享专家》 《CSDN专家博主》每一个优秀的人都会有一个沉默的时光,那段时间你付出了很多却得不到回报
展开
-
【大数据开发运维解决方案】sqoop1.4.7的安装及使用(hadoop2.7环境)
一、sqoop简介Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。说明:本测试hadoop是单机伪分布式环境,如果读者想要学习如何搭建伪分布式...原创 2019-03-18 14:47:53 · 174640 阅读 · 9 评论 -
【大数据开发运维解决方案】Sqoop增量同步Oracle数据到hive:merge-key再次详解
对于sqoop增量同步Oracle数据到hive的命令参数以及如何定制自动增量job的测试已经再前面几篇文章详细测试过了,连接:1、sqoop避免输入密码自动增量job脚本介绍这篇文章是基于上面连接的文章继续做的拓展,上篇文章结尾说了如果一个表很大。我第一次初始化一部分最新的数据到hive表,如果没初始化进来的历史数据今天发生了变更,那merge-key的增量方式会不会报错呢?之所以会提出这个...原创 2019-03-25 19:01:13 · 167061 阅读 · 8 评论 -
【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive
一、介绍将关系型数据库ORACLE的数据导入到HDFS中,可以通过Sqoop、OGG来实现,相比较ORACLE GOLDENGATE,Sqoop不仅不需要复杂的安装配置,而且传输效率很高,同时也能实现增量数据同步。说明:本测试hadoop是单节点伪分布式环境,是基于之前写的两篇文章对应的环境操作,前两篇文章分别是:1、Hadoop+Hive+HBase+Kylin 伪分布式安装指南2、sq...原创 2019-03-19 10:33:14 · 171508 阅读 · 8 评论 -
【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
前面几篇文章详细介绍了sqoop全量增量导入数据到hive,比如文章(sqoop避免输入密码自动增量job脚本介绍)里面的案例和给出的其他相关文章的连接,笔者使用sqoop导入oracle数据到hive是为了做增量cube用,但是在前面的某篇文章Sqoop全量同步mysql/Oracle数据到hive中大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型,虽然这样可以处理掉时间字段在hive为空的问题,但是在kylin创建增量cube时需要指定一个时间字段来做增量,所以上面那种原创 2019-03-27 15:58:54 · 165543 阅读 · 8 评论 -
【大数据开发运维解决方案】sqoop避免输入密码自动增量job脚本介绍
本篇文章将介绍如何将上一篇文章介绍的增量方式同sqoop自带的job机制和shell脚本以及crontab结合起来实现自动增量同步的需求原创 2019-03-22 10:58:29 · 166353 阅读 · 8 评论 -
【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive
接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive,这里实验采用oracle数据库为例,后面一篇文章将详细介绍:1、sqoop --incremental append 附加模式增量同步数据到hive2、sqoop --incremental --merge-key合并模式增量同步到hive。原创 2019-03-19 10:30:52 · 169982 阅读 · 8 评论 -
【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append)测试文档
本片文章将通过实验详细介绍如何增量同步数据到hive,以及sqoop job与crontab定时结合无密码登录的增量同步实现方法。原创 2019-03-22 10:15:51 · 166772 阅读 · 11 评论