Spark上矩阵运算库（三）代码重构与优化

最新推荐文章于 2021-11-01 14:04:05 发布
最新推荐文章于 2021-11-01 14:04:05 发布
阅读量2.1k 收藏
点赞数
分类专栏： 开源夏令营 文章标签： spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014252240/article/details/38202085
版权
本文介绍了将项目代码重构为使用Spark MLlib的矩阵API，对比了使用新API后的性能提升，并讨论了未来优化方向，包括矩阵API扩展、调用breeze库、shuffle过程优化等。
摘要由CSDN通过智能技术生成

 

迁往MLlib的API

Spark的MLlib库中提供了分布式矩阵的API，本着不重复造轮子的原则，目前项目将代码重构使用MLlib提供的矩阵API，这些API都在org.apache.spark.mllib.linalg.distributed 包内，Spark的官方文档有一个简单的相关介绍：http://spark.apache.org/docs/latest/mllib-basics.html

本项目主要使用的API是 IndexedRowMatrix 和 IndexedRow ，其中IndexedRow是 (Long, Vector)的封装，两个参数分别是索引index和矩阵一行向量Array[Double]，而IndexedRowMatrix则由RDD[IndexedRow]实例化得到。

More spark-way-progaming

众所周知，Spark推荐使用函数式编程语言scala进行开发，而且由于涉及内存方面的迭代操作，所以即使同样能得到相同的结果，程序写得好坏会对程序执行时间、效率有着相当大的影响，目前我重构了代码，修改了算法，完全抛弃了collect()的相关action，程序执行的效果在下一节阐明，这也是我将该部分称之为more spark-way-programing 的原因。当然，如何更加

最低0.47元/天 解锁文章
Fluid开源社区
关注
专栏目录
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
Spark上矩阵运算库(六)——高级矩阵操作2
南京大学PASA大数据实验室专栏
08-25 2781
矩阵运算的应用 基于基础的矩阵运算（矩阵、向量的乘、加等），我们可以实现一些更高级的应用，来演示并行矩阵运算库的功能和效果。上周时间，我调研并且找到了用Matlab语言实现的如下两个基础应用： Logistic RegressionK-MeansLU、QR矩阵分解 Logistic Regression Logistic Regression是广义线性回归模型的代表，在回归问题中具
spark 代码重构
莫等闲
03-02 718
package com.lhj.www import org.apache.spark.{SparkContext, SparkConf} object Test { def main(args: Array[String]) { val sc = sparkContext("My App") sc.setLogLevel("WARN") // flatMapTr
spark实现大矩阵运算
永远飞翔的鸟
02-13 3188
一、MapReduce实现大矩阵相乘 二. Spark中分布式矩阵使用
Spark上矩阵运算库(七)--LU矩阵分解实现和Spark 1.1的SVD剖析
南京大学PASA大数据实验室专栏
08-31 3745
上文介绍了一些高级矩阵操作，本周的内容就是来实现其中的LU分解，在实现的思路上参照了尚未正式release的Spark 1.1中分布式SVD奇异值分解的内容，所以先来介绍Spark 1.1中分布式SVD Spark 1.0.x 版本的SVD分解 目前已经release的1.0.x版本的Spark中，计算一个分布式矩阵的SVD，需要将其转换成本地breeze的DenseMatrix，然后调用sv
Spark Breez矩阵计算
Java_Man_China的博客
03-05 5769
import breeze.linalg._ import breeze.numerics._ import breeze.stats.distributions.Rand /** * @author XiaoTangBao * @date 2019/3/5 16:16 * @version 1.0 */ object Breeze { def main(args: Array...
矩阵分解的利器：掌握矩阵运算的秘密武器
[矩阵分解的利器：掌握矩阵运算的秘密武器](https://img1.mukewang.com/5b09679c0001224009020332.jpg) # 1. 矩阵分解概述** 矩阵分解是一种强大的数学工具，用于将矩阵分解为多个较小、更易于管理的矩阵。它在图像...
【data库的性能优化】：提升Python数据处理效率的技巧，让你的代码快如闪电
[【data库的性能优化】：提升Python数据处理效率的技巧，让你的代码快如闪电](https://www.theengineeringprojects.com/wp-content/uploads/2020/06/Datatypes-in-python.jpg) # 1. 理解data库的基本概念和性能挑战 ...
Python函数性能优化：时间与空间复杂度权衡，专家级代码调优
[Python函数性能优化：时间与空间复杂度权衡，专家级代码调优](https://files.realpython.com/media/memory_management_3.52bffbf302d3.png) # 1. Python函数性能优化概述 Python是一种解释型的高级编程语言，以其...
spark上的分布式矩阵计算-顾荣
07-06
spark分布式平台的矩阵计算，大数据必备
一文看懂大数据矩阵运算利器-Spark Distributed Matrix
PUSHIAI的博客
11-01 1356
如今是大数据的时代，数据呈指数型增长，那么如何利用这些数据？离不开大数据计算，今天小普给大家介绍的是：Spark的分布式计算框架，它能很好地适配大数据场景下的计算任务。 【相似度计算】是金融领域或商品推荐等领域的常见需求，如果需要计算M个用户两两之间的相似度情况，若用户特征个数为N。 如果采用循环遍历的计算方式，我们需要计算M*(M-1)次才能得到两两用户之间的相似度情况。 而如果我们采用矩阵计算的方式，只需构造一个M*N维的矩阵A， 做一些简单的矩阵运算： 运算的结果矩阵元素的下标，就对应这
Spark上矩阵运算库 终期检查报告
南京大学PASA大数据实验室专栏
09-07 2321
从7月份开始着手到如今9月份撰写解题报告，两个月的时间如白驹过隙。这两个月里，我主要对Spark运行机制，RDD设计思想，BLAS等底层运算库以及Scala函数式编程有了一个更深层次更全面的认识和熟悉，感谢实验室的诸位在算法设计上、底层环境系统调度、代码风格修改上提供的帮助，感谢Intel中国研究院的尹绪森老师的指导帮助，最后感谢CSDN提供的这次宝贵实习机会，使得我有机会对于Spark，对于开源
Spark SQL 笔记(13)——实战网站日志分析（3）按照流量统计TopN
一角残叶的博客
11-15 579
1 创建一张表 mysql> create table day_video_traffics_topn_stat ( day varchar(8) not null, cms_id bigint(10) not null, traffics bigint(10) not null, primary key (day,cms_id) ); Query OK, 0 rows affected (...
scala代码重构(用递归代替var和while)
陈珏煊的专栏
09-07 311
原有代码，其中使用了while循环和var /** * 模版方法 * 玩游戏，从控制台读入 */ def play(): Unit = { println(s"当前积分为$score，请输入您本次游戏的筹码，0退出本游戏") var point = io.StdIn.readDouble()...
Scala IDE 2.0增加重构支持
cpongo011702
01-09 154
Scala IDE赶在年底发布了2.0版。Scala IDE项目最初由Miles Sabin创立，后与Typesafe携手，造就了一个达到产品级质量的Scala开发环境。\u0026#xD;Scala IDE 2.0版是与1.x版并行的版本，它对底层的Scala编译器做了改动以完善IDE自身的代码提示和代码展开功能。2.0版在正式发布之前，经历了2011年全年一系列beta测试，成功将Scala环...
Scala: 一次命令式到函数式的重构
josephguan的专栏
07-29 821
一次“命令式”到“函数式”的重构 知识点： ① List的map和exists方法的运用 ② Stream的应用 背景： 需要做这么一个功能，检查一个excel文档，它需要满足一下两点要求： ① 文件列的个数和列名与umtsPara配置的列个数和列名完全一致 ② umtsPara中设定列不能为空，则文件中对应的列也不能为空 代码评审过程中，发现代码“太命令式”，没有把scala强大
哈工大大数据实验_【新闻动态】南京大学PASA大数据实验室在KDD Cup 2020 AutoGraph自动化图数据建模国际挑战赛中荣获第二名...
weixin_39689377的博客
12-03 512
近期，在素有“数据世界杯”之称的KDD Cup 2020数据挖掘国际大赛AutoML自动化机器学习赛道(AutoGraph自动化图数据建模)中，南京大学PASA大数据实验室代表队PASA-NJU，在全球顶尖团队和高手云集的220多支参赛队伍中，经过4个多月的激烈角逐，最终荣获大赛国际第二名，并获邀在KDD 2020线上会议上做技术分享。这是继NIPS 2019自动化深度学习大赛获得国际第...
Spark上矩阵运算库（四）基本API搭建完毕
南京大学PASA大数据实验室专栏
08-03 4543
重写MLlib矩阵相关API 上周工作时所用到的矩阵相关API，均是extends MLlib中相关分布式矩阵API，但是很快便遇到了问题，由于我需要重写原先IndexedRow的toString方法，所以写了一个类IndexRow extends IndexedRow，由于MLlib中IndexedRowMatrix是对IndexedRow的RDD封装，即RDD[IndexedRow]，我们自
Spark中的矩阵乘法源码分析
拱头的专栏
03-27 6968
矩阵乘法在数据挖掘/机器学习中是常用的计算步骤，并且在大数据计算中，shuffle过程是不可避免的，矩阵乘法的不同计算方式shuffle的数据量都不相同。通过对矩阵乘法不同计算方式的深入学习，希望能够对大数据算法实现的shuffle过程优化有所启发。网上有很多分布式矩阵乘法相关的文章和论文，但是鲜有对Spark中分布式矩阵乘法的分析。本文针对Spark中分布式矩阵乘法的实现进行必要的说明讨论。
Spark平台优化单光子成像测量矩阵生成与评估
本文主要探讨了Spark平台在单光子成像测量矩阵生成与评估中的应用。单光子成像是一种高分辨率的成像技术，但在实验中，由于测量矩阵的生成对于高分辨率条件下的时间需求极高，这成为了一个瓶颈问题。Spark是一个强大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值