![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据相关
花落的速度
whatever is worth doing is worth doing well
展开
-
spark入门wordCount之scala程序运行时报错:无法找到主类 =
Jetbrains IDEA Ultimate 2018.3.1 sbt 1.2.7 scala 2.11.8 在这里卡住快一学期了,终于解决。 1.运行scala版本的wordCount,首先new project,选择sbt,选版本号,等idea帮我们做好默认配置,没啥好讲 2.去maven repository官网查询spark-core和scala版本的对应关系,并添加到buil...原创 2018-12-19 17:55:36 · 4120 阅读 · 2 评论 -
build.sbt 各种cannot resolve symbol的解决办法
idea 2017.3版本,scala项目 查看build.sbt文件,发现它各种红,name,version,liberarydependencies全部报红,cannot resolve symbol. alt+enter没有能搞定的解决方案。最后在stackoverflow上找到了答案:.idea文件夹出了问题,而且:The root cause remains a mystery... ...原创 2018-12-12 09:11:23 · 4036 阅读 · 0 评论 -
Spark sort与top序列化问题:Task not serializable
前几天在写文章相似度比较,要取每篇文章最长的若干句,然后simHash得相似度。结果问题出现了: 将文章分割成句子之后,无论用sort还是JavaPairRDD的sortByKey方法之后,只要我想拿数据,比如take(int) , top(int)等,都会有一个类似下面的序列化问题出现: 刚开始时用的Lambda表达式,报错是lambda表达式对象无法序列化: failed in 0...原创 2019-04-17 11:57:07 · 721 阅读 · 0 评论