说明:
因为后期要做基于spark的项目,本人懒得纯手打了,决定在别的项目基础上修改过来即可。
项目中要用到spark-ml的word2vec生成词向量,于是直接借用之前的手机短信项目的前半截了。
代码不贴了,写下心得:
利用spark-mllib库现成的word2vec轻轻松松几句代码就实现了。得到的词向量等内容存储在preResultDF中,我想看下生成的词向量什么样。
1、saveAsTestFile()
百度告诉我用这个输出就能看了,结果我写了preResultDF.saveAsTestFile()报错:Cannot Resolve Symbol saveAsTestFile
我百度解决方案,度娘告诉我maven有个通用解决方式,随便百度了个:https://blog.csdn.net/qq_17312239/article/details/80279413
可是对我没半点用,哭了。(我百度了别人写的saveAsTestFile是可运行的,说明我代码写的不对)
2、强行运行,看IDEA能不能多给点提示
本以为 preResultDF是个rdd,尝试使用rdd.saveAsTestFile()结果报错Error