对象重复定义
问题描述:
D:\workspace\spark\src\main\Scala\WordCount.scala:3:8
WordCount is already defined as object WordCount
object WordCount {
解决办法
命令行过长
问题描述:
Error running 'wcPerson': Command line is too long. Shorten command line for wcPerson or also for Application default configuration?
解决办法:
第一步:编辑配置
第二步:修改选项
第三步:选中shorten command line
将其中的shorten command line 选项选中
第四步: 选中classpath file
第五步,配置完成
配置完后,点击apply,点击ok,随后运行程序。ok
类型不匹配
D:\workspace\spark\src\main\Scala\PairRDD.scala:8:42
value split is not a member of Char
val pRDD = data.flatMap(line => line.split(",")).map(word => (word,1))
解决办法:
错误信息 "value split is not a member of Char" 出现是因为 line
是 Char
类型而不是 String
类型。在 Scala 中,split
方法只适用于 String
类型,而不适用于 Char
类型。 要解决这个问题,你需要确保 data
的类型是 RDD[String]
或在拆分之前将 line
转换为 String
类型。
原来的代码:
val pRDD = data.flatMap(line => line.split(",")).map(word => (word,1))
修改后的代码:
val pRDD = data.flatMap(line => line.toString.split(",")).map(word => (word, 1))
类型不对
java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: java.lang.Integer is not a valid external type for schema of string
解决办法:
原代码中,我没注意把StringType改为IntegerType了,年龄字段的类型应该是IntegerType
,而不是StringType。