Spark编程基础(python版)SparkSql实验中遇到的问题以及解决方法

在练习林子雨老师spark编程基础第五章课后实验时,遇到了一些问题。

实验环境:虚拟机Ubuntu

题目:

编程实现利用DataFrame读写MySQL的数据

(1)在MySQL数据库中新建数据库sparktest,再创建表employee,包含如下表所示的两行数据。

(2)配置Spark通过JDBC连接数据库MySQL,编程实现利用DataFrame插入如表5-3所示的两行数据到MySQL中,最后打印出age的最大值和age的总和。

遇到的问题

完成数据库的创建和代码的编写后,运行testmysql.py时报错

py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.
: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver

 

 报错原因:缺少jar包

 解决方法:

step1:下载jar包

MySQL :: MySQL Community Downloadshttps://dev.mysql.com/downloads/具体步骤参照:(39条消息) java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver_calling o206.jdbc._NoOne-csdn的博客-CSDN博客

 step2:

解压后移动到jdk的ext目录下

在移动过程中可能会出现“权限不够”的提示

可以在终端中输入命令 sudo nautilus

sudo nautilus

这样就可以移动啦

详细步骤参考:(39条消息) 解决Ubuntu系统移动或复制文件权限不够_ubuntu移动文件权限不够_白嫖叫上我的博客-CSDN博客

step3:执行命令

python3 testmysql.py

结果如下:

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值