sqoop的三个常见错误!!!

最新推荐文章于 2021-08-07 23:17:52 发布
最新推荐文章于 2021-08-07 23:17:52 发布
阅读量563 收藏
点赞数 1
文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/new_Xxx/article/details/104756397
版权

错误1: java.lang.NoClassDefFoundError: org/json/JSONObject :
原因:
找不到类: org/json/JSONObject
缺包: org/json/JSONObject
解决方案:
将这个java-json的包 上传到 sqoop的lib的目录下

错误2: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf :
原因:
找不到类: org.apache.hadoop.hive.conf.HiveConf
缺包: hive-exec的包
解决方案:
到hive的安装包的lib的目录下, 查询是否有这个包 将这个包拷贝到sqoop的lib的目录下

错误3: FAILED: SemanticException [Error 10072]: Database does not exist: test
原因:
找不到hive的数据:
sqoop/conf下没有hive的配置文件
解决方案:
建立软连接: ln -s /export/servers/hive/conf/hive-site.xml /export/servers/sqoop-1.4.6-cdh5.14.0/conf/

Furys
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Sqoop介绍及数据迁移
qianchun22的博客
09-29 363
Sqoop介绍及数据迁移Sqoop介绍数据迁移一、从RDB导入数据到HDFS1、导入表到HDFS1.1 通过Where语句过滤导入表1.2 通过COLUMNS过滤导入表1.3 使用query方式导入数据1.4 使用Sqoop增量导入数据2、导入文件格式二、从RDB导入数据到Hive1、直接导入数据到Hive2、导入数据到Hive分区三、从RDB导入数据到HBase导入MySQL数据到HBase四、导出HDFS数据到MySQL使用sqoop export导出数据到MySQL Sqoop介绍 1、Sqoop是一
运行Sqoop出现hcatalog does not exist!…accumulo does not exist!解决方案
01-07
有一段时间没用sqoop了，今天打开进行测试的时候，发现命令行总是出现下面这样的警示信息： Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to ...
【java】 java.sql.SQLException: ORA-00911: 无效字符的问题
象在舞的技术专栏
05-29 1161
java在调用SQL语句进行数据库操作的时候报了如下的异常： java.sql.SQLException: ORA-00911: 无效字符的问题 经检查，发现是因为引用的SQL语句中多了分号导致的，例如： String sql = "select * from xzw;"; 将字符串中的引号去掉再次测试，错误得以解决~ ...
Sqoop java.lang.NoClassDefFoundError: org/json/JSONObject
大数据流浪法师的学习笔记与分享
03-21 891
问题描述 [root@hadoop01 sbin]# sqoop job --create jobtest -- import --connect jdbc:mysql://hadoop01:3306/userdb \ > --username root \ > --password 123456 \ > --target-dir /sqoopresult333 \ > -...
sqoop1 import 时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
Chengliangyao的博客
11-06 1569
如题，sqoop1 import 时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject。 这是因为sqoop缺少java-json.jar包.去http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm下载，然后放到sqoop/lib...
这两天搞sqoop1.x遇到的坑
weixin_42496757的博客
03-04 6492
简单分享下，我这两天搞sqoop1.x遇到的坑。 先总体总结下，首先是1.4.4的import不支持as-parquetfile。 好吧，换成1.4.6版本，倒是支持了，但是不支持--as-parquetfile和--query一起使用，报一个什么莫名的空指针异常，--as-parquetfile和--table是可以的。同时import也不支持parquetfile格式直接导入hive表，只...
sqoop：Apache Sqoop的镜像
02-03
欢迎来到Sqoop！ 这是Sqoop（SQL到Hadoop）工具。 Sqoop允许在数据库和HDFS之间轻松导入和导出数据集。更多文件Sqoop附带其他文档：用户指南和手册页。 两者的asciidoc来源都在src/docs/ 。 运行ant docs以构建文档...
sqoop-1.4.7.zip
04-24
Sqoop是Apache Hadoop生态中的一个工具，用于在关系型数据库和Hadoop之间高效地导入导出数据。在这个场景中，我们遇到了一个关于Sqoop运行时的问题，即"找不到或无法加载主类 org.apache.sqoop.sqoop"。这个问题通常...
sqoop常用命令文件
05-25
Sqoop 是 Apache Hadoop 生态系统中的一个工具，主要用于在关系型数据库（如 MySQL、Oracle 等）和 Hadoop 分布式文件系统（HDFS）之间进行数据传输。它简化了将数据导入到 Hadoop 进行大数据分析，以及将处理后的...
sqoop-1.4.7.jar
01-27
解决错误：Could not find or load main class org.apache.sqoop.Sqoop。把这个sqoop-1.4.7.jar放到sqoop根目录下的lib目录中，即可。 如果你没有积分，也可以自己去这个地址下载：...
第八章：sqoop数据迁移工具
小爷欣欣
04-06 3417
sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景，假如你们公司有个项目运行好长时间了，积累了大量的数据，现在想升级项目并换种数据库进行存储原来的数据，那么我们就需要先把数据都存放到另一个地方，然后再用新数据库的语句把这些数据插入到新的数据库。在没有Sqoop之前，我们要做到这一点是...
Sqoop导入问题汇总
litall的专栏
11-21 876
自己在使用Sqoop的过程中碰到许多问题，经过很长时间的查询与摸索，所以有了以下这些总结，为了自己以后方便查询，也为了其他人不再为相同的问题困扰，所以写了这篇文章。 1、生成sqoop import模板 sqoop 的import命令导入的时候可以指定模板（--jar-file 、--class-name），指定模板后就按模板格式导入，不再按默认方式生成模板，生成模板的命令是： sqoop
【sqoop】异常解决
依旧的博客
10-30 6638
一、Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf$ConfVars Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf$ConfVars at org.apache.hive.hcatalog.common.HCatConstants.&lt...
sqoop的--query工作中的实际的使用
热门推荐
allen的博客
10-10 1万+
需求： 有一个需求，就是需要从hive通过sqoop导数据回oracle，但是导入过程需要用另外一张表记录导入过程，比如导入的时间、导入是否准备中或者运行中、成功或者失败，因为别人需要通过这个标志来触发一些处理。这里就可以用shell脚本结合sqoop的–query来实现。其中IS_FLAG :1为准备中 2为运行中 0为完成 -1为异常出错失败#!/bin/bash source ExitCod
sqoop详解-导入导出
上帝之手&传奇 - MartinLee
08-12 1587
从mysql 导入到 hadoop 文件： http://ftp.wayne.edu/apache/sqoop/ -- sqoop下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 大家下的时候注意自己的版本！！（注意不要下sqoop2，不是给我们这类需求使用的。） (一定一定要选择 bin__hadoop 版本，否则也可能报错java.lang.NoClassDefFoundError: org/apache/avro/.
sqoop创建job出现的一系列问题解决方法
weixin_46787788的博客
08-07 656
1、一种是会报空指针错误如图： 出现这种情况有两种可能，第一种是缺少依赖包： cp /opt/software/mysql-connector-java-5.1.31.jar /opt/install/sqoop/lib/ cp /opt/software/commons-lang-2.6.jar /opt/install/sqoop/lib/ cp /opt/software/java-json.jar /opt/install/sqoop/lib/ 第二种是/sqoop/lib/下面多了hive-ex
Sqoop导入时注意事项
千里之行始于足下
01-25 2510
参考：http://blog.csdn.net/zleven/article/details/53781111 导入时需要注意： 1）数据库表名需要大写；  我试小写好像也可以 不知道是不是版本问题 Imported Failed: There is no column found in the target table xxx. Please ensure th
ORA-00923 开发人员挖的坑，细细对比语句填坑吧
白非马的博客
03-21 559
这个问题比较无语，没什么技术含量，只是多细心，一个字段一个字段核对，一个逗号一个逗号核对。最好借助sql美化工具，做一个sql格式化，这样审核起来比较方便。...
sqoop 连接 mysql 小bug
oPerform的专栏
05-02 672
Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if exp...
sqoop hdfs导入到mysql export job failed!
最新发布
01-21
当使用sqoop导入数据失败时，可能有以下几个原因： 1. HDFS文件系统故障：如果HDFS文件系统出现故障，导致sqoop无法正确读取数据并导入到MySQL中。可以通过检查HDFS是否正常运行，并尝试重新启动HDFS服务来解决问题...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值