这篇博客记录了Spark在大数据处理中遇到的问题，包括数据写入MySQL时的报错分析，可能是缺少MySQL驱动Jar或Jar路径设置不正确。通过查看Spark配置并手动添加驱动Jar解决了问题。
问题1
问题描述
项目中使用CDH 5.8,在测试环境上使用 spark-sql 将数据写到Mysql 时，一直报错如下
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
根据错误应该是Mysql 问题，两种可能
- 存在节点上没有 MySQL驱动 Jar
- Jar 路径未指定对
由于我对测试环境集群组件配置不了解，于是去 CM上看了一下Spark的配置，几乎都没有找到 驱动包，于是给每个节点下这两个路径放置了Jar
/opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/，/opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/lib/hadoop-yarn/
提交参数：
--jars /opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/mysql-connector-java.jar
--driver-class-path /opt/cloudera/parcels/CDH
订阅专栏 解锁全文
扫一扫
721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
