本文记录了一次Spark SQL实验的经历，包括在转换RDD为DataFrame时遇到的导入错误问题，解决方案是通过在spark-shell中逐行执行命令。此外，还介绍了如何使用DataFrame读写MySQL数据，强调了需要将mysql-connector-java.jar放入Spark的jars目录，并在启动Spark Shell时指定该jar包。
今天做实验【Spark SQL 编程初级实践】，虽然网上有答案，但在自己的环境下并不能够顺利进行
在第二题中，要求编程实现将 RDD 转换为 DataFrame。根据所谓标准答案，在进行sbt 打包时，报如下错误
[error] /home/hadoop/mycode/rddtodf/src/main/scala/rddtodf.scala:1: object types is not a member of package org.apache.spark.sql
[error] import org.apache.spark.sql.types._
[error] ^
[error] /home/hadoop/mycode/rddtodf/src/main/scala/rddtodf.scala:2: object Encoder is not a member of package org.apache.spark.sql
[error] import org.apache.spark.sql.Encoder
……
截图：
根据错误描述可知，程序在第一行 import org.apache.spark.sql.types._ 处出错：types不是org.apache.spark.sql的成员
解决方案：
把程序每一行看作一个spark命令，在spark-shell一条一条地执行好了。。。
最低0.47元/天 解锁文章
扫一扫
1761
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
