Spark连接Hive时报错The specified datastore driver (“com.mysql.jdbc.Driver“) was not found in the CLASSPAT

最新推荐文章于 2024-05-03 21:35:06 发布
最新推荐文章于 2024-05-03 21:35:06 发布
阅读量270 收藏
点赞数
文章标签： spark hive mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39876938/article/details/132718206
版权

The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH.

字面意思缺少mysql连接的驱动程序，是因为hive的元数据存储在mysql中所以需要mysql驱动。单独启动hive没问题，但是启动Spark连接Hive就报错，查看网上修改spark-defaults.conf添加如下配置（无效） 

spark.executor.extraClassPath     /home/hadoop/jars/mysql-connector-java-5.1.46-bin.jar
spark.driver.extraClassPath       /home/hadoop/jars/mysql-connector-java-5.1.46-bin.jar

----------------------------------------------------解决办法--------------------------------

后来将hive目录下的lib/mysql-connector-java-5.1.27-bin.jar 拷贝到 Spark 下的jars目录后解决

----------------------------------------------------总结----------------------------------------

Spark启动时会加载jars目录下的所有jar包，网上还有个办法：--jars命令 直接指定.（因为每次输命令都要指定所以嫌麻烦没有采用）

参考链接https://www.ngui.cc/el/857542.html?action=onClick

weixin_39876938
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
hive-jdbc-uber-2.6.5.0-292.jar
10-10
hive-jdbc-uber-2.6.5.0-292.jar 驱动下载,hive-jdbc-uber-2.6.5.0-292.jar,hive-jdbc-uber-2.6.5.0-292.jar
【报错解决】The specified datastore driver (“com.mysql.jdbc.Driver “) was not found in the CLASSPATH. Plea
邵奈一的博客
03-19 3986
今天打开了好多年没有用的大数据虚拟机集群，发现了一些莫名其妙的问题，比如我用 spark-shell ，竟然报错了： Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient ... Caused by: java.lang.reflect.InvocationTargetException ... Caused by:
Hive踩坑之The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH，找不到驱动
liuhehe123的博客
02-26 5975
在mysql中创建hive数据库，并允许hive接入 mysql> create database hive; #这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应，用来保存hive元数据 mysql> grant all on *.* to hive@localhost identified by 'hive'; #将所...
Spark SQL 读取Hive数据报错:The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the C
muyingmiao的专栏
10-14 847
将Hive的配置文件拷贝到Spark中后，启动spark-shell scala> spark.sql("show databases").show 报错如下 org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mys...
The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH
weixin_43616627的博客
01-13 3786
The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver已解决 要执行的代码如下： object HiveRead { def mai...
运行Spark SQL报The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH.
博客
10-31 2686
想启动spark-sql，结果报了 Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Pleas...
报错：The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please c...
weixin_30776273的博客
05-08 540
报错背景： CDH中集成hive插件，启动报错。 报错现象： [main]: Metastore Thrift Server threw an exception... javax.jdo.JDOFatalInternalException: Error creating transactional connection factory at org.datanucleu...
启动hiveThe specified datastore driver (com.mysql.jdbc.Driver) was not found in the CLASSPATH
01-02 6029
在进行hive-1.1.0-cdh5.7.0 的编译安装的时候再启动hive的时候出现下面的异常信息： [hadoop@zydatahadoop001 conf]$ hive which: no hbase in (/usr/java/jdk1.8.0_45/bin:/opt/software/hive/bin:/opt/software/hadoop-cdh/sbin:/opt/softw...
解决Cause com.mysql.jdbc.exceptions.jdbc4.CommunicationsException
11-09
Cause com.mysql.jdbc.exceptions.jdbc4.CommunicationsException The last packet successfully received from the server was 47,795,922 milliseconds ago. The last packet sent successfully to the server was...
hive-exec-1.2.1.spark2.jar
10-10
hive-exec-1.2.1.spark2.jar spark2-shell 支持 hive2 hadoop3
hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.38.jar连接包
06-26
hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.38.jar连接包
Spark 为什么比 Hive 快
JIE的博客
04-26 939
由于 MapReduce 的特性，Hive 在处理大规模数据时可能会出现较高的延迟，因为它需要频繁地将数据写入和读取磁盘，Shuffle 操作会导致花费的时间代价比较大。那么在稳定性方面，Hive 优于 Spark，这是因为在 MR 任务中，数据总是按照块分片进行处理，每块数据都可以独立地读取和处理，并不需要将所有数据都加载到内存中，因此它对内存的需求远低于Spark。由于 Spark 使用的是内存计算，在处理大规模的数据时，需要足够的内存资源，否则可能会发生 OOM 或者导致计算速度非常缓慢。
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 1008
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
Spark SQL编程初级实践
充满焦虑的大学生
04-30 876
【代码】Spark SQL编程初级实践。
Spark Stream
最新发布
qq_40068304的博客
05-03 383
Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。Spark Streaming 是 Spark Core 的扩展，它支持高吞吐量、可容错的实时数据流处理。在 Spark Streaming 中，数据被切分为一系列连续的批处理，每个批处理被当作一个 RDD。: 这是 Spark Streaming 的主要入口点，用于创建和配置流式计算。: 对每个RDD执行操作，通常用于将数据写入外部系统或进行复杂的批处理操作。
Spark RDD
qq_40068304的博客
05-03 573
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。➢ 弹性⚫ 存储的弹性：内存与磁盘的自动切换⚫ 容错的弹性：数据丢失可以自动恢复⚫ 计算的弹性：计算出错重试机制⚫ 分片的弹性：可根据需要重新分片。➢ 分布式：数据存储在大数据集群不同节点上➢ 数据集：RDD 封装了计算逻辑，并不保存数据。
数据仓库——聚集
IT深耕十余载，大道之简
05-03 569
聚集是指按照维度粒度、指标和计算元的不同，对底层的详细数据进行预处理的过程。这种预处理可能包括记录行压缩、表连接、属性合并等操作，目的是对数据进行相应的统计加工，如求和、求平均值等。聚集的结果是预先计算好的汇总数据，这些数据是根据用户可能的查询需求来计算的。
Underlying cause: java.lang.ClassNotFoundException : com.mysql.cj.jdbc.Driver
09-12
这个错误“Underlying cause: java.lang.ClassNotFoundException : com.mysql.cj.jdbc.Driver”表示在程序运行的过程中找不到类com.mysql.cj.jdbc.Driver。通常这是因为在程序中使用了MySQL的JDBC驱动，但是没有将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值