Error: Failed to load class demo1 提交Spark作业报错

当出现这个情况的时候,查看 --class后的名字是否和jar包中的名字相同

[root@node1 spark]# bin/spark-submit --class demo --master yarn --deploy-mode client /opt/module/IDEA_into_HiveMysql.jar 10

在提交spark作业时,Error: Failed to load class demo

出现在我们打包的jar包中,是以demo2命名的,所以提交demo会提示没有找到class

import java.util.Properties

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object demo2 {
  def main(args: Array[String]): Unit = {
    val demo = new SparkConf().setAppName("demo2")  //创建class名称
    val session = SparkSession.builder().enableHiveSupport().config(demo).getOrCreate()

    val properties = new Properties()  // 连接mysql
    properties.setProperty("user", "root")  //设置用户名
    properties.setProperty("password", "1234")  //设置密码
    properties.setProperty("driver", "com.mysql.jdbc.Driver") //设置驱动
    val dataframe = session.read
      .jdbc("jdbc:mysql://node1:3306/test1", "test_01", properties)  //读取数据库
    dataframe.show()  //显示数据

      // 筛选1  统计每小时消息量、发送和接收用户数
      session.sql("use db_msg")

将代码中demo改为demo2即可运行成功

[root@node1 spark]# bin/spark-submit --class demo --master yarn --deploy-mode client /opt/module/IDEA_into_HiveMysql.jar 10

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值