sqoop 导mysql数据提示找不到jar文件

最新推荐文章于 2022-11-07 16:11:00 发布
最新推荐文章于 2022-11-07 16:11:00 发布
阅读量1.5k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scjthree/article/details/26683019
版权
今天遇上个异常奇葩的问题，sqoop安装好之后，链接mysql没问题
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客

但一导入数据就提示如下：
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
 
提示说找不到jar文件。这个jar文件在sqoop目录下的lib文件夹下，可sqoop为何要跑到hdfs下去找？
按提示，把lib目录下的jar文件全部导入hdfs下，
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
  sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
 再运行，貌似一切正常
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
sqoop 导mysql数据提示找不到jar文件 - scjthree - 亚存的博客
 

貌似还没找到哪个教程说把jar文件要预先传到hdfs上才能运行，hadoop也是自己传上去的。难道sqoop找不到jar的路径所以没法自己传？还得再研究研究
 
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6236
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop同步mysql间的数据_数据迁移之Sqoop
weixin_39980353的博客
02-04 1326
一 简介Apache Sqoop(TM)是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。1.Sqoop是什么Sqoop：SQL-to-Hadoop连接 传统关系型数据库 和 Hadoop 的桥梁把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库里...
sqoop-hadoop的jar包
01-15
jdbc的SqlServer驱动包sqljdbc_2.0.1803.100_chs.exe和sqoop-sqlserver-1.0.tar.gz，使用sqljdbc时双击sqljdbc_2.0.1803.100_chs.exe即可解压得到相应的jar包，全部免积分下载，共同学习
sqoop将mysql数据导入hive时因缺少jar包报的一些错误以及解决方法
追梦人的博客
10-29 1859
错误一：缺少log4j相关jar包导致的错误 21/10/28 17:32:27 ERROR tool.ImportTool: Import failed: java.io.IOException: Exception thrown in Hive at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:358) at org.apache.sqoop.hive.HiveImport.importTable(HiveImport
hive 找不到mysql jar包,hive查询mysql元数据的时候出现需要手动导jar包到hdfs上
weixin_34204530的博客
03-19 214
hive查询mysql元数据的时候出现需要手动导jar包到hdfs上热度 1已有 826 次阅读2014-6-4 14:22|环境：hive-0.10.0-cdh4.5.0 ，hadoop-2.0-4.5，在查询hive 的数据时候出现找不到hdfs上的jar包需要手动导入：select count(1) from weibo-qqSLF4J: See http://www.slf4j.org/c...
SQOOP运行缺少java-json jar报错
qq_41301707的博客
01-05 867
SQOOP运行缺少java-json jar报错 运行SQOOP遇到此类错误 [hadoop@xkhadoop shell]$ sh -x ods_init.sh ruozedata_supplier + '[' 1 '!=' 1 ']' ++ date '-d-1 day' +%Y-%m-%d + YESTERDAY=2020...
如何寻找sqoop-1.4.6.jar文件包，解决找不到或无法加载主类org.apache.sqoop.sqoop的问题
shantaodaoshik852的博客
08-16 6271
前段时间使用sqoop将sqlserver中的数据导入到hbase中,然后我就下载了sqoop-1.4.6.tar.gz的安装包。 在使用的过程中，确报了如下错误： 错误：找不到或无法加载主类 org.apache.sqoop.sqoop 我从网上搜索答案，说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下，或者放到share/hadoop/yarn下，其实这种说法
sqoop 抽取mysql数据_sqoop抽取mysql数据到hive
weixin_34489135的博客
01-30 666
对于sqoop，我之前只是知道作用，并未对其进行研究。最近设计基础架构的过程中，其中一环需要用到sqoop，用来导数据，涉及全量和增量，于是花时间学习了一下。这里讨论sqoop导数据的全量和增量的功能，以及遇到的一些问题。下面的案例是：使用sqoop将mysql的数据导入hive中，数据来自天气数据。制造数据源通过NiFi采集天气数据，保存到mysql。具体的采集流程并非本文重点，这里就不做描述了...
sqoop从mysql往hive导数据突然变慢
shuxuedu3299的博客
02-27 1769
现象: 发现:在这个时间段停滞了 这段时间是sqoop执行,上传jar包到对应的job里,我手动上传jar包发现速度很快,我就查了一下nn的日志,还有dn的日志. 如下: readAndProcess from client 172.16.171.37:49462 threw exception [java.io.IOExcept ion: Requested data length 91071788 is longer than maximum configured RPC length
Centos7使用sqoop导mysql数据到hive，并kylin创建cube（流程及报错解决）
叶柖的博客
09-28 1203
启动hbase 列出mysql中所有数据库 sqoop list-databases --connect jdbc:mysql://rm-bp1x76yga76x16n4ybo.mysql.rds.aliyuncs.com:3306?useSSL=false --username fmmanager --password Zzkj3333 列出数据库中的表 sqoop list-tables --...
sqoop-1.4.7.jar
04-20
sqoop框架开发工具使用的jar sqoop-1.4.7.jar 手动安装到maven org.apache.sqoop sqoop 1.4.7
sqoop mysql jar包_Sqoop 连接mysql 错误 java.lang.NoClassDefFoundError
weixin_32645721的博客
01-30 334
1.首先说一下前提hadoop 已经正常启动，并且mysql驱动包已经导入好：(Hadoop 3.2.0 ，mysql 8.0， mysql 驱动8.0，Sqoop 1.4.7) 2.错误信息Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils如图所示： 具体信...
sqoop从mysql向hive增量导入数据错误汇总
m0_59887059的博客
04-07 2191
首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包 可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常 需要将hive的表格存储
sqoop 导入数据导出数据jdbc找不到或者版本问题
xuyingzhong的博客
03-28 1286
sqoop jdbc.jar 放入三个目录下 /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/sqoop/jdcb.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/sqoop/lib/jdcb.jar /usr/local/j...
sqoop从hive导入数据到Mysql报错ClassNotFoundException:class [tablename] not found
mbest6的博客
04-18 6056
原因：大概是sqoop找不到生成的jar包位置。 解决方法： 当你每次执行失败后，其实在/tmp/sqoop-你的用户名/compile(或者是/tmp/sqoop/compile，可以找找看)文件夹下有许多临时文件夹，文件夹名称为一大串字符，每个文件夹内有对应表名生成的.jar包、.java和.class文件。将这三个文件拷贝到你到sqoop安装目录/lib文件夹下即可解决。 PS:如果你不知道...
使用sqoop将数据从Hive导入MySQL出现的问题
kemomimi的博客
03-18 1441
使用sqoop将数据从Hive导入MySQL出现无法连接的问题 前言 在搭建hadoop分布式集群时，将workers文件(hadoop 3.x)或者slaves文件(hadoop2.x)中的localhost删除，并添加了slave1节点，最终master节点只做为namenode节点使用，不作为datanode。作者使用的hadoop版本分别是hadoop3.1.3和hadoop2.7.1。 问题 我们先启动hadoop集群、以及MySQL服务 service mysql start start-all
sqoop搭建与使用,sqoop条件导入、增量导入，mysql至hdfs、hive、hbase，hdfs至mysql，生成jar包到本地
Mogeko1的博客
11-07 1977
sqoop搭建与使用,sqoop条件、增量导入，mysql至hdfs、hive、hbase，hdfs至mysql与怎么生产jar包到本地
sqoop安装与使用
weixin_44616592的博客
02-24 2048
3）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中。2）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/2）进入到/opt/software/路径，拷贝jdbc驱动到sqoop的lib目录下。1）进入到/opt/module/sqoop/conf目录，重命名配置文件。（1）在/home/atguigu/bin目录下创建。（2）增加脚本执行权限。
Sqoop问题总结
wangxucumt的专栏
11-13 470
今天发现使用sqoop导入db的时候JOB失败，有异常数据导致的，但是如何根据日志中的异常堆栈信息定位到异常数据呢？ 每次通过sqoop导入MySql的时，都会生成一个以MySql表命名的.java文件，然后打成JAR包，给sqoop提交给hadoop 的MR来解析Hive表中的数据。那我们可以根据报的错误，找到对应的行，改写该文件，编译，重新打包，sqoop可以通过 -jar-file ，--...
通过sqoop将hdfs文件数据导到MySQL中
最新发布
10-24
通过Sqoop将HDFS（Hadoop Distributed File System）上的文件数据导入到MySQL数据库，你需要执行以下几个步骤： 1. **安装并配置Sqoop**：首先确保你的机器上已经安装了Apache Hadoop和Sqoop。你需要配置环境变量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值