![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
风玉尘
这个作者很懒,什么都没留下…
展开
-
Spark MLib测试案例
聚类(Cluster analysis)有时也被翻译为簇类,其核心任务是:将一组目标object划分为若干个簇,每个簇之间的object尽可能相似,簇与簇之间的object尽可能相异。聚类算法是机器学习(或者说是数据挖掘更合适)中重要的一部分,除了最为简单的K-Means聚类算法外,比较常见的还有层次法(CURE、CHAMELEON等)、网格算法(STING、WaveCluster等),等等。转载 2023-06-13 11:47:38 · 304 阅读 · 0 评论 -
spark编程基础
spark编程基础原创 2023-04-08 21:08:40 · 700 阅读 · 0 评论 -
spark处理地铁交通数据
【代码】spark处理地铁交通数据。原创 2023-05-19 09:54:16 · 219 阅读 · 0 评论 -
Linux中使用sbt打包spark项目并运行
版本说明:sbt:1.8.0。原创 2023-05-17 15:51:17 · 477 阅读 · 0 评论 -
Linux下spark独立应用程序编程(参考林子雨老师配置)
在上面的配置信息中,scalaVersion用来指定scala的版本,sparkcore用来指定spark的版本,这两个版本信息都可以在之前的启动 Spark shell 的过程中,从屏幕的显示信息中找到。下面就是笔者在启动过程当中,看到的相关版本信息(备注:屏幕显示信息会很长,需要往回滚动屏幕仔细寻找信息)。对于刚安装好的Spark和sbt而言,第一次运行上面的打包命令时,会需要几分钟的运行时间,因为系统会自动从网络上下载各种文件。后面再次运行上面命令,就会很快,因为不再需要下载相关文件。原创 2023-04-27 11:14:23 · 700 阅读 · 0 评论 -
spark-shell数据处理
【代码】spark(实验课)原创 2023-04-26 19:57:10 · 541 阅读 · 0 评论 -
spark数据处理(深圳轨迹交通)-- 01
【代码】spark数据处理(深圳轨迹交通)原创 2023-04-17 12:02:45 · 110 阅读 · 0 评论 -
spark-shell读取本地文件
spark读取本地文件原创 2023-04-17 11:36:45 · 1115 阅读 · 0 评论 -
spark-shell 问题
【代码】pyspark问题。原创 2023-04-14 21:15:26 · 41 阅读 · 0 评论