Spark上矩阵运算库 ——中期检查报告

最新推荐文章于 2021-05-12 22:28:58 发布
最新推荐文章于 2021-05-12 22:28:58 发布
阅读量2.3k 收藏
点赞数
分类专栏： 开源夏令营
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014252240/article/details/38415859
版权
本项目回顾了一个月来Spark矩阵运算库的开发工作，包括开发环境搭建、矩阵参考实现及性能测试。团队参照MLlib实现了IndexRow和IndexMatrix，使用Breeze提升运算速度。性能测试显示，矩阵乘法在调用底层BLAS后，时间从26min降低到4min，但Spark程序仍未能有效利用底层库，导致stage6耗时较长。未来计划优化算法，实现调用本地BLAS和MKL，以及与HBase的集成。
摘要由CSDN通过智能技术生成

 

项目从开始准备工作到如今已经接近一个月的时间，这次的中期检查报告回顾一下这一个月内的工作进展，并对未来的进一步工作做一个规划

前期工作总结

 

1.开发环境搭建

Spark用scala语言进行开发，而Spark本身目前推荐使用YARN作为底层环境，所以我们从最开始三个节点的Spark 1.0.0 on Hadoop1 迁移到现在18个节点的Spark 1.0.1 on YARN，程序的开发IDE一直都是Intellij IDEA Community 13.1，运行环境见下

image

一次开发工作流程如下：在IDE中修改编写程序，保存之后，进入shell，执行sbt assembly命令，对于assembly的大体积jar包，用官方所提倡的spark-submit命令提交，提交运行命令如下：

最低0.47元/天 解锁文章
Fluid开源社区
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark上矩阵运算库(六)——高级矩阵操作2
南京大学PASA大数据实验室专栏
08-25 2755
矩阵运算的应用 基于基础的矩阵运算（矩阵、向量的乘、加等），我们可以实现一些更高级的应用，来演示并行矩阵运算库的功能和效果。上周时间，我调研并且找到了用Matlab语言实现的如下两个基础应用： Logistic RegressionK-MeansLU、QR矩阵分解 Logistic Regression Logistic Regression是广义线性回归模型的代表，在回归问题中具
一文看懂大数据矩阵运算利器-Spark Distributed Matrix
PUSHIAI的博客
11-01 1298
如今是大数据的时代，数据呈指数型增长，那么如何利用这些数据？离不开大数据计算，今天小普给大家介绍的是：Spark的分布式计算框架，它能很好地适配大数据场景下的计算任务。 【相似度计算】是金融领域或商品推荐等领域的常见需求，如果需要计算M个用户两两之间的相似度情况，若用户特征个数为N。 如果采用循环遍历的计算方式，我们需要计算M*(M-1)次才能得到两两用户之间的相似度情况。 而如果我们采用矩阵计算的方式，只需构造一个M*N维的矩阵A， 做一些简单的矩阵运算： 运算的结果矩阵元素的下标，就对应这
spark上的分布式矩阵计算-顾荣
07-06
spark分布式平台的矩阵计算，大数据必备
Spark Breez矩阵计算
Java_Man_China的博客
03-05 5742
import breeze.linalg._ import breeze.numerics._ import breeze.stats.distributions.Rand /** * @author XiaoTangBao * @date 2019/3/5 16:16 * @version 1.0 */ object Breeze { def main(args: Array...
spark实现大矩阵运算
永远飞翔的鸟
02-13 3129
一、MapReduce实现大矩阵相乘 二. Spark中分布式矩阵使用
基于Spark的巨型矩阵分布式LU计算求逆【第一篇】
NEU_LightBulb的博客
01-27 1827
概述 本文将介绍如何利用Spark解决巨型矩阵分布式的LU法求逆的问题。本篇则将对LU求逆的前半部分——分布式LU分解做介绍。 【后半部分再我的队友整理完后，会以链接的形式补在这里】 正文 首先，我们看一下本地LU分解时有哪些特点，如下图 常规LU分解式为 A = L*U，而我们将A、L、U都按照相同的规格划分，不难看出这个矩阵等式可以得到 ① A11 = L11*U1...
spark MLlib矩阵四则运算，线性代数
weixin_30653097的博客
06-03 175
1、导包请看我的上一篇博文，maven项目的包 　　https://www.cnblogs.com/wuzaipei/p/10965680.html 2、denseMatirx 矩阵四则运算如下 　　版本不同计算的方法不一样，下面是较新版的scala计算方式，基于scala2.3.1 package com.test import breeze.linalg._ import b...
3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-2
tianyaleixiaowu的专栏
10-16 1528
上一篇是矩阵的创建、连接等相关操作。 这一篇主要是矩阵的数值计算。 1 基本运算 元素加法 a+b 元素乘法 *:* 元素除法 /:/ 元素比较 <:< 元素相等 :== 元素追加 :+= 元素追乘 :*= 元素最大值 max(a) 元素最大值及位置 argmax(a) package b...
Spark中如何使用矩阵运算间接实现i2i
abcdefg90876的博客
05-12 818
本文主要包含以下几部分：1.背景2.Spark支持的数据类型2.1 Local Vector（本地向量）2.2 Labeled point（带标签的点）2.3 Local Matrix（本...
基于Spark实现的超大矩阵运算
热门推荐
GatsbyNewton
11-10 1万+
由于标题强调了是在Spark平台实现的矩阵运算，所以本文会非常有针对性的介绍，甚至细节到Spark RDD的算子。 1.算法描述 思想其实很简单，就是矩阵分块计算，而分块矩阵就成了小矩阵，然后就借助于Breeze实现。而对于Spark平台而言，其处理流程如下图： 2.矩阵分块依据 这里仅仅提供一种思路，所以仅供参考。假设有两个矩阵A和B，其中A是m*k的矩阵，B是k*n的矩阵，CP
3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1
tianyaleixiaowu的专栏
09-20 3710
  机器学习里矩阵是必不可少的，无论Python、Java能做机器学习的语言，都会提供比较优质的矩阵库。 spark mllib中提供的矩阵库是Breeze，可以简单看看Breeze库的情况。 ScalaNLP是一套机器学习和数值计算的库，主要是关于科学计算、机器学习和自然语言处理（NLP）的，里面包含三个库，Breeze、Epic和Puck。 其中Breeze是机器学习和数值计算库，Ep...
spark矩阵向量-矩阵矩阵相乘
果然好吃的专栏
07-17 1万+
val paramatrix1 = sc.parallelize(List(Vector(2, 2, 4), Vector(3, 2, 1), Vector(1, 3, 2)))
Spark MLlib之矩阵
HoiDev
09-19 4107
Spark MLlib的底层组件 BLAS/LAPACK层 LAPACK是用Fortran编写的算法库，顾名思义，Linear Algebra Package是为了解决通用的线性代数问题。算法包BLAS(Basic Linear Algebra Subprograms)，其实LAPACK底层使用了BLAS库Netlib-java 对BLAS/LAPACK封装的Java接口层Breeze scala编
Spark上矩阵运算库(五)——高级矩阵操作1
南京大学PASA大数据实验室专栏
08-17 3206
工作回顾 前面我们已经基于Spark设计并实现了常见的分布式矩阵操作，主要包括BLAS1-2的操作，如矩阵相加、相减、相乘等。 接下来的一阶段，我们的工作分类两部分。第一，继续完善基本操作，比如支持一些向量的操作；第二，实现1、2个高级矩阵操作，如矩阵的分解等等。 高级矩阵操作
java编写spark计算矩阵乘积
qq_43793031的博客
12-26 509
矩阵名 行 列 值 M 1 1 1 M 1 2 2 M 1 3 3 M 1 4 4 M 2 1 1 M 2 2 2 M 2 3 3 M 2 4 4 M 3 1 1 M 3 2 2 M 3 3 3 M 3 4 4 M 4 1 1 M 4 2 2 M 4 3 3 M 4 4 4 M 5 1 1 M 5 2 2 M 5 3 3 M 5 4 4 N 1 1 1 N 2 1 2 N 3 1 3 N 4 1...
Spark上矩阵运算库（一）—— 矩阵相乘
南京大学PASA大数据实验室专栏
07-13 8060
从HAMA 0.1版的"黑历史"开始 HAMA是Apache基金会下的一个顶级开源项目，属于Hadoop生态圈中的一个重要项目。根据HAMA项目主页上的简介，HAMA项目的目的是提供“a general BSP framework on top of Hadoop”。因此HAMA项目的目标现在主要围绕着BSP框架展开。 但是HAMA项目在早期的目标远比此要宏大，其目的有些类似于Spark项目中
Spark上矩阵运算库(七)--LU矩阵分解实现和Spark 1.1的SVD剖析
南京大学PASA大数据实验室专栏
08-31 3718
上文介绍了一些高级矩阵操作，本周的内容就是来实现其中的LU分解，在实现的思路上参照了尚未正式release的Spark 1.1中分布式SVD奇异值分解的内容，所以先来介绍Spark 1.1中分布式SVD Spark 1.0.x 版本的SVD分解 目前已经release的1.0.x版本的Spark中，计算一个分布式矩阵的SVD，需要将其转换成本地breeze的DenseMatrix，然后调用sv
Spark上矩阵运算库（四）基本API搭建完毕
南京大学PASA大数据实验室专栏
08-03 4504
重写MLlib矩阵相关API 上周工作时所用到的矩阵相关API，均是extends MLlib中相关分布式矩阵API，但是很快便遇到了问题，由于我需要重写原先IndexedRow的toString方法，所以写了一个类IndexRow extends IndexedRow，由于MLlib中IndexedRowMatrix是对IndexedRow的RDD封装，即RDD[IndexedRow]，我们自
Marlin：Spark上的大规模分布式矩阵计算框架
Marlin是为了解决在Spark上进行大规模分布式矩阵运算而设计的，旨在提高计算效率并优化内存管理。 **背景与相关工作** 在矩阵计算领域，传统的单机方法面临性能瓶颈，特别是在处理大规模矩阵时。因此，平行矩阵乘法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值