sqoop 导mysql数据提示找不到jar文件

最新推荐文章于 2022-04-07 09:16:54 发布
最新推荐文章于 2022-04-07 09:16:54 发布
阅读量1.4k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scjthree/article/details/26683019
版权
今天遇上个异常奇葩的问题，sqoop安装好之后，链接mysql没问题
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客

但一导入数据就提示如下：
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
 
提示说找不到jar文件。这个jar文件在sqoop目录下的lib文件夹下，可sqoop为何要跑到hdfs下去找？
按提示，把lib目录下的jar文件全部导入hdfs下，
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
  sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
 再运行，貌似一切正常
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
 

貌似还没找到哪个教程说把jar文件要预先传到hdfs上才能运行，hadoop也是自己传上去的。难道sqoop找不到jar的路径所以没法自己传？还得再研究研究
 
亚存
关注
专栏目录
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6161
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop同步mysql间的数据_数据迁移之Sqoop
weixin_39980353的博客
02-04 1296
一 简介Apache Sqoop(TM)是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。1.Sqoop是什么Sqoop：SQL-to-Hadoop连接 传统关系型数据库 和 Hadoop 的桥梁把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库里...
sqoop-hadoop的jar包
01-15
jdbc的SqlServer驱动包sqljdbc_2.0.1803.100_chs.exe和sqoop-sqlserver-1.0.tar.gz，使用sqljdbc时双击sqljdbc_2.0.1803.100_chs.exe即可解压得到相应的jar包，全部免积分下载，共同学习
sqoop将mysql数据导入hive时因缺少jar包报的一些错误以及解决方法
追梦人的博客
10-29 1815
错误一：缺少log4j相关jar包导致的错误 21/10/28 17:32:27 ERROR tool.ImportTool: Import failed: java.io.IOException: Exception thrown in Hive at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:358) at org.apache.sqoop.hive.HiveImport.importTable(HiveImport
hive 找不到mysql jar包,hive查询mysql元数据的时候出现需要手动导jar包到hdfs上
weixin_34204530的博客
03-19 203
hive查询mysql元数据的时候出现需要手动导jar包到hdfs上热度 1已有 826 次阅读2014-6-4 14:22|环境：hive-0.10.0-cdh4.5.0 ，hadoop-2.0-4.5，在查询hive 的数据时候出现找不到hdfs上的jar包需要手动导入：select count(1) from weibo-qqSLF4J: See http://www.slf4j.org/c...
SQOOP运行缺少java-json jar报错
qq_41301707的博客
01-05 852
SQOOP运行缺少java-json jar报错 运行SQOOP遇到此类错误 [hadoop@xkhadoop shell]$ sh -x ods_init.sh ruozedata_supplier + '[' 1 '!=' 1 ']' ++ date '-d-1 day' +%Y-%m-%d + YESTERDAY=2020...
如何寻找sqoop-1.4.6.jar文件包，解决找不到或无法加载主类org.apache.sqoop.sqoop的问题
shantaodaoshik852的博客
08-16 6245
前段时间使用sqoop将sqlserver中的数据导入到hbase中,然后我就下载了sqoop-1.4.6.tar.gz的安装包。 在使用的过程中，确报了如下错误： 错误：找不到或无法加载主类 org.apache.sqoop.sqoop 我从网上搜索答案，说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下，或者放到share/hadoop/yarn下，其实这种说法
sqoop 抽取mysql数据_sqoop抽取mysql数据到hive
weixin_34489135的博客
01-30 646
对于sqoop，我之前只是知道作用，并未对其进行研究。最近设计基础架构的过程中，其中一环需要用到sqoop，用来导数据，涉及全量和增量，于是花时间学习了一下。这里讨论sqoop导数据的全量和增量的功能，以及遇到的一些问题。下面的案例是：使用sqoop将mysql的数据导入hive中，数据来自天气数据。制造数据源通过NiFi采集天气数据，保存到mysql。具体的采集流程并非本文重点，这里就不做描述了...
Sqoop导入mysql数据到HDFS
蜗牛往上爬
08-11 2219
Sqoop导入mysql数据到HDFS 打算把mysql中爬虫爬到的数据导入到HDFS中供后续学习kylin以及研究使用，以前导数据经常会自己写一段java脚本去导入，这次打算用sqoop试一试效果 首先看了下mysql的数据量，不到900万条数据，不多不少 从官网下载好sqoop进行安装 http://sqoop.apache.org/docs/1.99.7/admin/Inst...
sqoop从mysql往hive导数据突然变慢
shuxuedu3299的博客
02-27 1726
现象: 发现:在这个时间段停滞了 这段时间是sqoop执行,上传jar包到对应的job里,我手动上传jar包发现速度很快,我就查了一下nn的日志,还有dn的日志. 如下: readAndProcess from client 172.16.171.37:49462 threw exception [java.io.IOExcept ion: Requested data length 91071788 is longer than maximum configured RPC length
sqoop mysql jar包_Sqoop 连接mysql 错误 java.lang.NoClassDefFoundError
weixin_32645721的博客
01-30 325
1.首先说一下前提hadoop 已经正常启动，并且mysql驱动包已经导入好：(Hadoop 3.2.0 ，mysql 8.0， mysql 驱动8.0，Sqoop 1.4.7) 2.错误信息Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils如图所示： 具体信...
sqoop从mysql向hive增量导入数据错误汇总
m0_59887059的博客
04-07 2180
首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包 可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常 需要将hive的表格存储
sqoop 导入数据导出数据jdbc找不到或者版本问题
xuyingzhong的博客
03-28 1276
sqoop jdbc.jar 放入三个目录下 /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/sqoop/jdcb.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/sqoop/lib/jdcb.jar /usr/local/j...
sqoop从hive导入数据到Mysql报错ClassNotFoundException:class [tablename] not found
mbest6的博客
04-18 5957
原因：大概是sqoop找不到生成的jar包位置。 解决方法： 当你每次执行失败后，其实在/tmp/sqoop-你的用户名/compile(或者是/tmp/sqoop/compile，可以找找看)文件夹下有许多临时文件夹，文件夹名称为一大串字符，每个文件夹内有对应表名生成的.jar包、.java和.class文件。将这三个文件拷贝到你到sqoop安装目录/lib文件夹下即可解决。 PS:如果你不知道...
使用sqoop将数据从Hive导入MySQL出现的问题
kemomimi的博客
03-18 1407
使用sqoop将数据从Hive导入MySQL出现无法连接的问题 前言 在搭建hadoop分布式集群时，将workers文件(hadoop 3.x)或者slaves文件(hadoop2.x)中的localhost删除，并添加了slave1节点，最终master节点只做为namenode节点使用，不作为datanode。作者使用的hadoop版本分别是hadoop3.1.3和hadoop2.7.1。 问题 我们先启动hadoop集群、以及MySQL服务 service mysql start start-all
Sqoop问题总结
wangxucumt的专栏
11-13 459
今天发现使用sqoop导入db的时候JOB失败，有异常数据导致的，但是如何根据日志中的异常堆栈信息定位到异常数据呢？ 每次通过sqoop导入MySql的时，都会生成一个以MySql表命名的.java文件，然后打成JAR包，给sqoop提交给hadoop 的MR来解析Hive表中的数据。那我们可以根据报的错误，找到对应的行，改写该文件，编译，重新打包，sqoop可以通过 -jar-file ，--...
Sqoop导入问题汇总
litall的专栏
11-21 887
自己在使用Sqoop的过程中碰到许多问题，经过很长时间的查询与摸索，所以有了以下这些总结，为了自己以后方便查询，也为了其他人不再为相同的问题困扰，所以写了这篇文章。 1、生成sqoop import模板 sqoop 的import命令导入的时候可以指定模板（--jar-file 、--class-name），指定模板后就按模板格式导入，不再按默认方式生成模板，生成模板的命令是： sqoop
Hue中使用sqoop问题汇总
weixin_41347226的博客
06-04 404
Hue中执行Sqoop的方法和注意事项。包含部分遇到的问题和解决方法。 操作用户：bigdata Hue提供执行Sqoop命令的功能。 使用方法 与在终端执行Sqoop命令不同，在Hue中执行Sqoop命令，应该直接使用Sqoop的一级子命令。 Sqoop在终端和Hue执行的区别 在终端执行 sqoop-import \ -D org.apache.sqoop.splitter.allow_text_splitter=true \ --connect jdbc:postgresql://postg
sqoop导mysql到hive
最新发布
03-10
您好，关于sqoop导mysql到hive的问题，我可以回答。Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具，可以将MySQL中的数据导入到Hive中。具体操作可以参考Sqoop的官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值