Spark中解决jdbc.DefaultSource没发现问题

今天在写一个小功能项目,主要要做的是读取ES数据,处理后存入MySQL,在IDEA中一直运行正常,打成jar包通过java命令运行出错,出错信息如下:

具体实现代码:ElasticSearch 数据导入到 MySQL

Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: jdbc. Please find packages at http://spark.apache.org/third-party-projects.html
        at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:635)
        at org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala:241)
        at org.apache.spark.sql.DataFrameWriter.jdbc(DataFrameWriter.scala:499)
        at com.example.tool.EsToMysql.main(EsToMysql.java:93)
Caused by: java.lang.ClassNotFoundException: jdbc.DefaultSource
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at org.apache.spark.sql.execution.datasources.DataSource
        at org.apache.spark.sql.execution.datasources.DataSource
        at scala.util.Try$.apply(Try.scala:192)
        at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$23.apply(DataSource.scala:618)
        at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$23.apply(DataSource.scala:618)
        at scala.util.Try.orElse(Try.scala:84)
        at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:618)
        ... 3 more
在网上找了好久都没有解决的答案,最后发现是运行方式不对导致的, 不能只能通过java -jar xxx来运行, 要用spark-submit来运行程序,命令如下:

bin/spark-submit --class xxx.xx.xx.mainObject  --master local[2]   /opt/xxx.jar

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值