yarn执行报错No suitable driver

最新推荐文章于 2021-10-03 14:40:47 发布
最新推荐文章于 2021-10-03 14:40:47 发布
阅读量226 收藏
点赞数
分类专栏： 大数据 文章标签： no suitable driver
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40436144/article/details/86148420
版权

1 我这里报错是没有找到相应的数据库驱动jar包，不管你是将jar包放在hadoop中spark里还是本地

2 将jar包上传上去即可解决，进入hdfs目录中查看自己jar包存放的路径

3 将jar包上传到相应目录：hdfs dfs -put /opt/ojdbc6-11.2.0.1.0.jar /apps/spark/jars

这个具体目录要根据你自己spark配置相应依赖目录了来决定，这样上传到hdfs上避免每次调用jar包都需要去加载的问题，直接去hdfs上调取就ok了。

可用以下命令来查看你上传目录包数量：

hadoop fs -ls /apps/spark/jars | wc -lhadoop fs -ls /apps/spark/jars | wc -l

自由游戏开发者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yarn.lock yarn install 安装失败，使用官方下载的yarn.lock文件
10-18
npm install -g yarn yarn install 安装失败，使用官方下载的yarn.lock文件
【Yarn篇02】Yarn任务推测执行1
08-04
Yarn任务推测执行是一种优化Hadoop集群性能的策略，其主要目标是缩短整个作业的完成时间，通过预判并启动备份任务来替换那些执行缓慢的任务。下面将详细讲解Yarn任务推测执行的工作原理、前提条件以及适用场景。 1....
spark on yarn cluster模式，异常：no suitable driver
阿顾的博客
11-10 751
网上很多都说要配置–driver-class-path的，又说要把mysql驱动包放到spark默认的classpath下面 其实只需要配置–jars，然后设置下driver配置即可 然后执行脚本 spark2-submit \ --master yarn \ --deploy-mode cluster \ --class com.bigdata.PreWarningScalaAppV2 \ -...
解决Spark On Yarn yarn-cluster模式下的No Suitable Driver问题
qq_38472465的博客
10-03 71
解决Spark On Yarn yarn-cluster模式下的No Suitable Driver问题
spark-submit 报错：No suitable driver 最终解决方案（测试通过）
Java_Man_China的博客
01-23 1万+
最近一个Scala项目，开发完成后，在Scala IDE上调试通过，提交到集群后一直报错如下： 提交的命令为： 特地将mysql驱动包copy到spark-submit目录下，但是依旧报上诉错误。 在各大博客网站上寻找答案，发现答案千篇一律，几乎都行不通。最后在stackoverflow中找到了答案： 注意：–jars --driver-class-path --conf 少一样都...
No suitable driver的解决方法
热门推荐
b296405422的博客
04-13 4万+
四月 13, 2019 1:45:32 下午 com.mchange.v2.log.MLog 信息: MLog clients using java 1.4+ standard logging. 四月 13, 2019 1:45:32 下午 com.mchange.v2.c3p0.C3P0Registry 信息: Initializing c3p0-0.9.5.2 [built 08-Dec...
airflow-yarn-executor-plugin:利用YARN执行任务的实验气流执行器-进行中
04-27
本项目“airflow-yarn-executor-plugin”专注于开发一个实验性的执行器，该执行器能够利用Hadoop YARN（Yet Another Resource Negotiator）资源管理系统来运行Airflow任务。 YARN是Hadoop生态系统中的关键组成部分...
yarn安装.docx
09-24
yarn安装 Yarn 是一个流行的 JavaScript 包管理器，可以帮助开发者快速安装、管理和共享项目依赖项。下面是关于 Yarn 安装的...Yarn 安装是一件轻松的事情，只需要按照安装步骤执行命令，并解决可能遇到的报错问题。
yarn 前端打包工具指定配置文件
08-10
默认情况下，`Yarn` 使用 `package.json` 文件中的 `scripts` 字段来执行命令，如 `build` 或 `start`，这些命令通常与前端打包工具（如 `Webpack`、`Rollup` 或 `Parcel`）相关联。 当我们需要对打包过程进行定制...
关于解决No suitable driver found for jdbc:oracle:thin:@//localhost:1521/orcl的问题
SpeedGodDeer的专栏
10-16 2万+
再说问题之前首先要介绍一下不同版本的jdbc驱动的区别： classes12.jar，ojdbc14.jar，ojdbc5.jar和ojdbc6.jar的区别，之间的差异
spark-jdbc No suitable driver found错误处理
希夷的博客
09-08 8313
错误如图： 代码： object Mysql extends App{ val sparkConf = new SparkConf()//.setAppName("RDDRelation").setMaster("local[1]") val sc=new SparkContext(sparkConf) val sqlContext = new SQL
No suitable driver
奋斗，为了心中仅存的梦
11-12 248
今天刚搭建完开发环境试着运行了一下看是否差什么包没导入，结果报No suitable driver错误，我开始以为是驱动包不兼容，换了个jar包依然这样，找了半天才发现是url写错了。 :twisted: 悲剧！...
java.sql.SQLException: No suitable driver的几种解决办法
wogoshu1的博客
11-22 9053
原因：（1）很有可能c3p0-config.xml中的配置文件出现问题，比如我是因为把“driverClass”不小心写成了“driver”， 所以在书写c3p0-config.xml要特别小心，可能多一个空格或者格式稍有问题，都会报以上错误。 如：驱动类写错、jdbcUrl格式错误等等。 解决之策：仔细检查书写是否正确！！！ （2）没有将mysql-connector-java--bin.jar...
No Suitable Driver Found For Jdbc_我的解决方法
huangxy10的专栏
11-17 1万+
今天出现编码出现了No suitable driver found for jdbc，又是找遍了网上的资料，基本上都说是三个问题：     一是：连接URL格式出现了问题(Connection conn=DriverManager.getConnection("jdbc:mysql://localhost:3306/XX","root","XXXX")     二是：驱动字符串出错(com.m
出现java.sql.SQLException: No suitable driver的几种解决办法
sunnrises的博客
08-11 3499
1.配置环境： IDEA c3p0-0.9.5.5.jar Mysql8.0.25 jdk15 3.jar包 jar包下载地址 2..错误如下： C3p0连接MySql数据库时出现如下问题 3..1解决方法 （1）检查c3p0-config.xml配置文件驱动类和URL是否正确 // MySQL 8.0 以下版本 - JDBC 驱动名及数据库 <property name="driverClass">com.mysql.jdbc.Driver</prope..
HIVE无法正常启动，报找不到jdbc的驱动类
Keep Learning!!!
08-25 1万+
通过启动脚本： cd $HIVE_HOME ./bin/hive  --hiveconf hive.root.logger=DEBUG,console 启动报如下错误： 16/08/25 19:06:18 [main]: DEBUG bonecp.BoneCPDataSource: JDBC URL =          jdbc:mysql://slave1:330
解决spark on yarn no suitable driver found for jdbc://localhost:3306/.........
东城庞太师
06-19 521
问题描述：spark任务提交yarn集群时，报错：找不到数据库的的驱动！ 原因：官网有解释！ 解决:提交spark时，提交命令中添加jar包。
Spark User class threw exception: java.sql.SQLException: No suitable driver
yisun123456的博客
12-26 1633
Spark on Yarn:java.sql.SQLException: No suitable driver found for jdbc:microsoft:sqlserver://localhost\\db_instance_name:1433;databaseName=db_name 本文只是针对当前特定环境下，出现的问题找不到sqljdbc驱动的案例。具体出现原因，可能是spark版本...
执行yarn命令报错yarn007
最新发布
03-20
执行yarn命令报错yarn007通常是由于yarn的版本问题引起的。yarn007错误表示yarn的版本过低，不支持当前使用的命令或功能。解决这个问题的方法是升级yarn到最新版本。 你可以按照以下步骤来升级yarn： 1. 首先，打开终端或命令行界面。 2. 运行以下命令来检查当前安装的yarn版本： ``` yarn --version ``` 3. 如果当前版本较低，你可以使用以下命令来升级yarn： ``` npm install -g yarn ``` 这将使用npm来全局安装最新版本的yarn。 4. 完成安装后，再次运行以下命令来验证yarn的版本： ``` yarn --version ``` 确保版本号已经更新到最新版本。 5. 现在，你可以尝试重新执行之前报错的yarn命令，应该不再出现yarn007错误了。 希望以上解决方法对你有帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值