sqoop
jiandequn
这个作者很懒,什么都没留下…
展开
-
sqoop1.4.7之删除时事务异常
当mysql的binlog_format=STATEMENT 是,sqoop执行以下删除语句异常: sqoop eval \ --connect 'jdbc:mysql://*:3306/yn_hadoop?useUnicode=true&characterEncoding=utf-8' \ --username ynhadoop \ --password * \ --query "delete from video_user_count_rank_day where t_date>='原创 2020-08-14 16:50:53 · 522 阅读 · 0 评论 -
sqoop2(sqoop-1.99.7)的安装部署
Sqoop 是一个开源工具,主要用于在Hadoop和传统的数据库(Mysql, Oracle,等)进行数据传递,可以将一个关系型数据库中的数据导入Hadoop 的HDFS中,也可以将HDFS中的数据导出到关系型数据库中。之前总结了sqoop1的部署安装,接下开对于hadoop-2.6.版本以上 sqoop1不支持,必须使用sqoop2,接下来总结一下sqoop2的部署和填坑 一、下载sqoop包...原创 2020-04-13 12:04:57 · 680 阅读 · 0 评论 -
sqoop1.4.7部署及其使用之旅
为什么使用sqoop? 1、对于hadoop数据的处理有时候要用户关系型数据库(mysql,oracle)中的数据进行清洗,或处理的数据需要导入到关系型数据库中; 2、由于没有工具的支持hadoop的hdfs和数据库之间的交互,手工写map-reduce中来处理复杂繁琐,维护成功高。 3、sqoop是连接关系型数据库和hadoop的桥梁,主要有两个方面(导入和导出); 开始部署...原创 2020-03-31 17:27:34 · 865 阅读 · 0 评论