val wordsDataFrame = rdd.map(w => Record(w)).toDF()
当使用Spark-submit时出现错误:java.lang.NoSuchMethodError 但在spark-shell可以使用toDF()函数
原因:编译环境使用的是scala2.11 而spark集群中使用的是scala2.10 所以出现上面的问题
修改IDEA项目的pom.xml依赖:scala2.11–>scala2.10 然后 build artifact 发现可以了。。。。。
原文链接:https://blog.csdn.net/a1223031949/article/details/51244508