![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Stephen Lau
"幸福就在身边."
展开
-
Spark(开课吧笔记)
2016.07.14 1-Spark实战演练:Spark概述及生态环境 2.Spark实战演练:Spark vs Hadoop MapReduce 任意一条边有方向且不存在环路的图,一次执行所有这些图的任务节点,而不需要一个个按照顺序来进行,这个方案避免了mapreduce中麻烦的同步问题,应用程序构建简单。 创新:1支持跨DAG的内存数据分享,不同任务原创 2017-03-24 18:50:05 · 522 阅读 · 0 评论 -
SparkML-note-PCA
spark ML机器学习问题:什么是主成分分析(PCA)?解答:ps:使用的是ML不是MLib,区别是ML更加的抽象,使用的DataSet(Dataframe为其子集),使用了pipeline将数据进入管道。PCA解析将高维数据降维代码实现(参考官网):import org.apache.spark.ml.feature.PCA import org.apache.spark.sql._ impor原创 2017-11-11 20:23:37 · 340 阅读 · 0 评论 -
sparkML-note-算法总结思维导图
sparkML-note-算法总结思维导图问题:spark ML机器学习算法有哪些常用的算法?怎么分类?解答spark ML 思维导图总结 Classfication Clustering Feature Regresssion Statisties 思维导图 参考> spark官网原创 2017-11-14 10:11:54 · 476 阅读 · 0 评论 -
SparkML-note-Kmeans
(本文为本人学习工作总结,如有雷同,不胜荣幸。可联系本人立即修改或者删除) SparkML实现Kmeans 问题:什么是Kmeans算法?有什么用?怎么用? 解答 解析 应用 1.不同维度鱼类聚类 2.多台集群日志数据按天多维度的聚类 3.用户偏好商品聚类 代码实现 val labeleRdd = sql("select channel,region,fresh,milk,原创 2017-11-22 13:14:50 · 366 阅读 · 0 评论