![](https://img-blog.csdnimg.cn/20191208163855596.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Sqoop
Hadoop生态体系和RDBMS体系之间传送数据工具
Import:数据导入。RDBMS----->Hadoop
Export:数据导出。Hadoop---->RDBMS
依旧ฅ=ฅ
想去的地方很远 想买的东西很贵 想守护的东西很美好 所以选择努力
展开
-
【hive】hive分区表导出到mysql(超简单操作)
那些什么鞋脚本循环执行导出,既繁琐又耗时我的思路:将hive分区表查询结果保存到hdfs 实现方式点击跳转 将hdfs文件使用sqoop导出到mysql 实现方式点击跳转该方式两步到位,第一步可以根据自己需求是否需要分区字段,需要就在查询加上分区字段,第二步根据自己需求全量导出还是增量导出...原创 2021-01-21 10:29:02 · 6493 阅读 · 2 评论 -
【sqoop】将mysql表同步到hive分区表中
一、从mysql导入到hive表分区数据的hdfs的存储位置==(mysql-->>hdfs)sqoop import \--connect jdbc:mysql://IP:3306/DATABASE \--username USENAME--password PWD \--fields-terminated-by ',' \--m 1 \--query "select * from TABLEwhere COLUMN='VALUE' and \$CONDITIONS" \-.原创 2021-01-21 10:13:25 · 6106 阅读 · 0 评论 -
【Sqoop】从hive导出数据到Oracle
https://blog.csdn.net/waterkong/article/details/78708809原创 2020-12-24 11:55:59 · 5574 阅读 · 0 评论 -
【azkaban】 java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo
在调度sqoop同步hive分区表时出的错误解决方式:检查sqoop/conf目录是否有hive-site.xml没有就从hive/conf目录下拷贝cp $HIVE_HOME/conf/hive-site.xml $SQOOP_HOME/conf检查sqoop/lib是否存在以下hive依赖包原创 2020-12-16 18:38:22 · 5900 阅读 · 0 评论 -
【sqoop】异常解决
一、Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf$ConfVarsException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf$ConfVars at org.apache.hive.hcatalog.common.HCatConstants.<...原创 2020-10-30 17:27:03 · 6640 阅读 · 0 评论 -
【sqoop】导入数据到orc格式hive指定分区表中
Sqoop需要依赖HCatalog的lib,所以需要配置环境变量$HCAT_HOME,一般从hive目录下即可找到hcatalog的相关路径hive/lib中将hive-hcatalog-core-1.2.2.jar复制到sqoop/lib下 cp $HIVE_HOME/lib/hive-shims* $SQOOP_HOME/lib/ 在/etc/profile文件中添加export HCATALOG_HOME=${HIVE_HOME}/hcatalog1、sqoop创建并导入数据到hiv.原创 2020-10-30 16:25:17 · 8035 阅读 · 0 评论 -
【sqoop】job作业
job语法$ sqoop job (generic-args) (job-args)[-- [subtool-name] (subtool-args)]$ sqoop-job (generic-args) (job-args)[-- [subtool-name] (subtool-args)]在这里,我们创建一个名为itcastjob,这可以从RDBMS表的数据导入到...原创 2019-12-07 02:30:06 · 3662 阅读 · 0 评论 -
【sqoop】全量增量导出(新增/更新)
将数据从Hadoop生态体系导出到RDBMS数据库导出前,目标表必须存在于目标数据库中。export有三种模式:默认操作是从将文件中的数据使用INSERT语句插入到表中。更新模式:Sqoop将生成UPDATE替换数据库中现有记录的语句。调用模式:Sqoop将为每条记录创建一个存储过程调用。以下是export命令语法:$ sqoop export (generic-args)...原创 2019-12-07 02:29:23 · 4805 阅读 · 0 评论 -
【sqoop】sqoop全量/增量导入
“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据下面的语法用于将数据导入HDFS。语法:$ sqoop import (generic-args) (import-args)Sqoop测试表数据在mysql中创建数据库userdb创建三张表:emp雇员表、emp_add雇员地址表、emp_conn雇员联系表。...原创 2019-12-07 02:28:48 · 4318 阅读 · 0 评论 -
【sqoop】Apache Sqoop介绍与安装
一、sqoop介绍Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括:HDFS、Hive、Hbase等RDBMS体系包...原创 2019-12-07 02:26:27 · 3663 阅读 · 0 评论 -
【sqoop】scoop Column length too big for column ‘TYPE_NAME‘ (max = 21845); use BLOB or TEXT instead
执行 将关系型数据的表结构复制到hive中出现异常错误:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Column length too big for column 'TYPE_NAME' (max = 21845); use BLOB or TEXT insteadscoopERROR tool....原创 2019-12-03 22:50:40 · 4234 阅读 · 0 评论