Spark-shell中能正确运行运行函数，在IDEA中build却显示无法value toDF is not a member of org.apache.spark.rdd.RDD

最新推荐文章于 2022-08-06 22:14:45 发布
最新推荐文章于 2022-08-06 22:14:45 发布
阅读量512 收藏
点赞数
分类专栏： 大数据 文章标签： spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43719388/article/details/109318520
版权

错误如图：
在这里插入图片描述
显示toDouble不是String类型的方法，但Scala的字符串确实是存在这个方法的，并且我在linux的spark-shell中是成功运行的。

谷歌搜索需要import什么包，尝试了但是并没有解决问题。

于是我在想是不是maven仓库的问题，最后Reimport All maven project，再次编译问题消失。
在这里插入图片描述
所以有问题可以尝试：
在这里插入图片描述

Reimport All  maven project

太奇怪了，卡了这么久久突然解决了

极光稻草人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 2.2 IDEA里 Cannot resolve symbol toDF
Talk Is Cheap
03-06 711
已经有import spark.implicits._ val spark = SparkSession.builder.appName("Test Application").enableHiveSupport().getOrCreate() import spark.implicits._ 尝试： 在pom.xml试试改改<scope> 关掉IDEA再删掉.idea文件夹 Fil...
Spark-RDD.md
最新发布
08-09
Spark_RDD
在IDEA中调试运行Spark SQL
美伊小公主的超级奶爸的专栏
08-04 7310
昨晚想通过调试的方式阅读一下Spark SQL的源码， 用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试. 结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题，在这篇文章中总结一下. 应用程序比较简单: case class Person(name: String, value: String) object SparkS
spark报错：value xxx is not a member of Any
sisiel的博客
01-08 4391
df1.rdd.filter(x=>x(1).contains("腾讯")).take(5) 遇到这个问题 此时可以先做类型转换： df1.rdd.filter(x=>x(1).toString.contains("腾讯")).take(5) 对于变量类，可以使用asInstanceOf val a: Any = "123" val b = a.asInstanceOf[String] ...
IDEA配置-解决: object apache is not a member of package org问题
不才妹妹的博客
12-29 1万+
IDEA配置-解决: object apache is not a member of package org问题问题问题探索及解决 我在博客上找了很多解决方案，感觉都不够完整，所以在此整理以备后续之用： 问题 按照博客在IDEA上配置Spark环境并编译scala脚本的时候报错： Error:(1, 12) object apache is not a member of package org import org.apache.log4j.{Level, Logger} 问题探索及解决 初步探索后
关于Spark中RDD对象无法调用toDF的解决方法
Lestat.Z.的博客
05-17 1万+
前言 今天在调试一个Scala程序时，IDEA报了can not resolve symbol toDF的错误, 查看了一下代码， 该行的逻辑是将RDD转成DataFrame，看起来似乎很正常， 但就是没有办法调用toDF方法，查看了一下上下文，原来是在代码重构的时候，不小心的将import sqlContext.implicits._给移除了。 解决方法 如果使用的是spark 2.0之前的版本...
解决rdd无法调用toDF及 value toDF is not a member of org.apache.spark.rdd.RDD[names]
qq_42400267的博客
12-10 1497
编译代码 object homework01 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("ch2homework01").setMaster("local[4]") val sc = new SparkContext(conf) val sp...
spark错题本
epitomizelu的专栏
04-15 7324
一，Task not serializable 原因：用了mysql的jdbc，其connect需要在各个服务器上单据创建，不能集群共享一个数据连接。 下图中的driver和excutor不在同一台服务器，connection不能共享。
spark编译出错：Error:(57, 131) value toDF is not a member of org.apache.spark.rdd.RDD[Person]
weixin_43638075的博客
09-18 1052
import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SparkSession object SparkDataSet { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("...
Spark[03]spark-shell、IDEA测试SparkSQL
Toozky的博客
06-18 338
Spark[03]spark-shell、IDEA测试sparksql
fantj2016#java-reader#3. Spark-初识RDD1
07-25
（1）一组分片（Partition），即数据集的基本组成单位 （2）一个计算每个分区的函数 （3）RDD之间的依赖关系 （4）一个Partitioner，即RD
Spark RDD以及其特性.rar_RDD_Spark!_parallelbwz_spark_特性
09-21
Spark RDD以及其特性的流程图，请使用visio打开
Spark RDD.docx
03-29
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本文将对 RDD 的基本概念及...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
spark编译问题解决 object apache is not a member of package org
热门推荐
wyx100的专栏
07-08 4万+
spark编译问题解决 object apache is not a member of package org
IDEA中报错“cannot resolve symbol toDF”，但编译正确可以运行
baini7676的博客
05-24 947
问题： 　　在IDEA中，无法识别同一个 package 里的其他类，将其显示为红色，但是 compile 没有问题 　　 解决方法如下： 　　点击菜单中的 “File” -> “Invalidate Caches / Restart”， 　　然后点击对话框中的 “Invalidate and Restart”，清空 cache 并且重启。语法就会正确的高亮了。 转载...
spark.sql()在环境中能创建表，在idea中出现错误。
weixin_46705696的博客
08-06 346
sparksql连接
Scala常见bug---error: value +: is not a member of Int
Mr Zhu's little cute
10-27 6494
项目场景： Scala的序列（Seq）里面的Vector 问题描述： 在使用Vector方法的过程中报错：error: value +: is not a member of Int 具体如下所示： scala> val v1=Vector(1,2) v1: scala.collection.immutable.Vector[Int] = Vector(1, 2) scala> val v2=5+:v1 v2: scala.collection.immutable.Vector[I
Flink使用api执行sql的时候报错
hu10131013的博客
07-18 892
通过把需要起别名的字段放在第一个位置，或者是在最后统一起别名的方式能够解决。通过不停的尝试是因为标红的位置写的有问题。Flink使用api执行sql的时候报错。具体原因目前未知，记录备查。...
error: value toDF is not a member of org.apache.spark.rdd.RDD
05-27
import org.apache.spark.sql.SparkSession import spark.implicits._ ``` 并且在创建 SparkSession 后，使用 `toDF()` 方法将 RDD 转换为 DataFrame，例如： ```scala val spark = SparkSession.builder() ....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值