Spark
文章平均质量分 74
pblh123
这个作者很懒,什么都没留下…
展开
-
基于Scala开发Spark ML的ALS推荐模型实战
ALS算法是Spark ML中实现协同过滤的矩阵分解方法。ALS,即交替最小二乘法(Alternating Least Squares),是协同过滤技术中的一种经典算法。它通过对用户和物品的潜在特征进行建模,来预测用户对未知物品的评分或偏好。矩阵分解模型:在推荐系统中,我们通常有一个用户-物品的评分矩阵,其中行表示用户,列表示物品,矩阵中的值代表用户对物品的评分。然而,这个矩阵通常是非常稀疏的,因为用户只给少数物品评分。ALS算法就是在这样的不完整评分矩阵上操作,通过矩阵分解来补全缺失值,进而产生推荐。原创 2024-04-02 20:29:34 · 1237 阅读 · 0 评论 -
2023_Spark_实验三十三:配置Standalone模式Spark3.4.2集群
基于Centos7,部署Spark3.4.2组件,实现Standalone模式集群部署。并通过自带的样例代码pi计算验证集群是否ok。原创 2023-12-25 13:05:01 · 1303 阅读 · 0 评论 -
Spark经典案例分享
Spark经典案例,链接操作案例、二次排序案例原创 2023-11-29 17:25:20 · 960 阅读 · 0 评论 -
【Centos8_配置单节点伪分布式Spark环境】
开启centos8 的防火墙指定端口。将该文件上传到Centos8 主机。部署配置jdk(java8)下载jdk linux版本。原创 2023-08-29 13:25:36 · 1496 阅读 · 0 评论 -
【IDEA+Spark Streaming 3.4.1+Dstream监控套接字流统计WordCount保存至MySQL8】
本次实验通过IDEA基于Spark Streaming 3.4.1开发程序监控套接字流,并统计字符串,实现实时统计单词出现的数量。试验成功,相对简单。原创 2023-08-04 22:19:38 · 716 阅读 · 0 评论 -
【用IDEA基于Scala2.12.18开发Spark 3.4.1 项目】
IDEA, Scala2.12.17,Spark 3.4.1,Spark SQL开发,Spark Core开发原创 2023-07-26 20:37:53 · 906 阅读 · 0 评论 -
【基于Spark-SQL模块完成项目分析】
Spark SQL,MySQL,IDEA,Hive,项目分析,ETL原创 2022-10-19 23:36:59 · 517 阅读 · 0 评论 -
【基于Spark-core模块完成项目分析】
Spark Core, 项目处理,Hive,MySQL,数据处理,ETL,Spark SQL原创 2022-10-19 23:12:44 · 402 阅读 · 0 评论 -
【部署Spark2.4.8+hadoop2.7.3集群】
部署Spark2.4.8+Hadoop2.7.3集群,Spark集群原创 2022-10-12 14:20:48 · 686 阅读 · 0 评论