大数据相关
花落的速度
whatever is worth doing is worth doing well
展开
-
spark入门wordCount之scala程序运行时报错:无法找到主类 =
Jetbrains IDEA Ultimate 2018.3.1sbt 1.2.7scala 2.11.8在这里卡住快一学期了,终于解决。1.运行scala版本的wordCount,首先new project,选择sbt,选版本号,等idea帮我们做好默认配置,没啥好讲2.去maven repository官网查询spark-core和scala版本的对应关系,并添加到buil...原创 2018-12-19 17:55:36 · 3991 阅读 · 2 评论 -
build.sbt 各种cannot resolve symbol的解决办法
idea 2017.3版本,scala项目查看build.sbt文件,发现它各种红,name,version,liberarydependencies全部报红,cannot resolve symbol. alt+enter没有能搞定的解决方案。最后在stackoverflow上找到了答案:.idea文件夹出了问题,而且:The root cause remains a mystery... ...原创 2018-12-12 09:11:23 · 4010 阅读 · 0 评论 -
Spark sort与top序列化问题:Task not serializable
前几天在写文章相似度比较,要取每篇文章最长的若干句,然后simHash得相似度。结果问题出现了:将文章分割成句子之后,无论用sort还是JavaPairRDD的sortByKey方法之后,只要我想拿数据,比如take(int) , top(int)等,都会有一个类似下面的序列化问题出现:刚开始时用的Lambda表达式,报错是lambda表达式对象无法序列化:failed in 0...原创 2019-04-17 11:57:07 · 708 阅读 · 0 评论