spark
文章平均质量分 76
薇酱
=。=
展开
-
跟着chatgpt一起学|1.spark入门之MLLib
首先找到spark官网里关于MLLib的链接spark内一共有2种支持机器学习的包,一种是spark.ml,基于DataFrame的,也是目前主流的另一种则是spark.mllib,是基于RDD的,在维护,但不增加新特性了所以这一节的学习以spark.ml中的pipeline为主。其他的和sklearn里的非常像,大家可以自己去看。基于DataFrame创建pipeline,对数据进行清洗/转换/训练。原创 2023-11-26 20:45:31 · 517 阅读 · 0 评论 -
linux下spark scala运行问题记录
问题1.使用maven编译scala文件可以编译成功,但是遇到Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.rdd.RDD.coalesce(IZLscala/math/Ordering;)Lorg/apache/spark/rdd/RDD;这个错误,看名字就可以看出这只是个spark上基础的函原创 2017-11-02 10:45:05 · 1864 阅读 · 3 评论