Spark Mlib BLAS线性代数运算库

最新推荐文章于 2024-08-26 16:12:19 发布
最新推荐文章于 2024-08-26 16:12:19 发布
阅读量1w 收藏 6
点赞数 2
分类专栏： Spark Spark MLlib 文章标签： Spark mllib BLAS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunbow0/article/details/45505227
版权
本文介绍了Spark Mllib如何利用BLAS库进行向量和矩阵的基本运算，包括axpy、dot、copy、scal、syr、gemm和gemv等函数，涉及Level 1到Level 3的不同级别的线性代数操作。
摘要由CSDN通过智能技术生成

1.4 BLAS （BLAS routines for MLlib's vectors and matrices.）

BLAS（Basic Linear Algebra Subprograms，基础线性代数程序集）是一个应用程序接口（API）标准，用以规范发布基础线性代数操作的数值库（如矢量或矩阵乘法）。

BLAS按照功能被分为三个级别：

Level 1：矢量-矢量运算

Level 2：矩阵-矢量运算

Level 3：矩阵-矩阵运算

在Spark Mlib 中，采用了BLAS线性代数运算库，下面对BLAS中基本运算进行简单介绍。

函数

名称

点积

dot

常数乘以向量加另一个向量

axpy

准备Givens旋转

rotg

实施旋转

rot

准备修改过的Givens旋转

rotmg

实施修改过的旋转

gotm

把x复制到y

copy

交换x和y

swap

2-范数（欧几里得长度）

nrm2

绝对值求和

asum

常数乘以向量

scal

最大绝对值元素的索引

amax

等等

……

参考文献：

http://www.netlib.org/blas/

最低0.47元/天 解锁文章
sunbow0
关注
专栏目录
《大数据机器学习实践探索》 ---- 大数据机器学习：spark mlib 库【简介 与 架构初探】
shiter编写程序的艺术
02-25 708
文章大纲简介案例参考文献 简介 机器学习强调三个关键词：算法、经验、性能，其处理过程如上图所示。在数据的基础上，通过算法构建出模型并对模型进行评估。评估的性能如果达到要求，就用该模型来测试其他的数据；如果达不到要求，就要调整算法来重新建立模型，再次进行评估。如此循环往复，最终获得满意的经验来处理其他的数据。机器学习技术和方法已经被成功应用到多个领域，比如个性推荐系统，金融反欺诈，语音识别，自然语言处理和机器翻译，模式识别，智能控制等。 在大数据上进行机器学习，需要处理全量数据并进行大量的迭代计算，这要求
Spark精华问答 | Spark做大规模高性能数值计算可以吗？
CSDN云计算
03-28 928
Spark作为一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，在处理大规模数据集的时候，速度是非常重要的...
计算两个向量的点积
qq_40465329的博客
07-11 4090
描述 给定两个向量，计算它们的点积（内积）。 输入 输入数据有若干行。每行上有两个向量（维数皆不超过20），对应一种情形。 输出 对于每一种情形，先输出"Case #: "（#为序号，从1起），然后输出结果（保留2位小数），当维数不同时，输出none。 样例输入1 (1, 2, 3, 4, 5) (5, 4, 3, 2, 1) (1, 2) (-2, 1) (1, 2, 3) (1, 2) 样例输出1 Case 1: 35.00 Case 2: 0.00 Case 3: none C实现： #include
Spark MLlib模型训练—分类算法One-vs-Rest classifier
最新发布
2401_84052244的博客
08-26 749
Spark 的 One-vs-Rest 分类器为多分类任务提供了一个简洁且实用的解决方案，特别是在需要将二分类器扩展到多分类问题时。尽管 One-vs-Rest 存在一些缺点，如类别不平衡和较长的训练时间，但其简单的实现和良好的可扩展性使其在许多实际应用中广受欢迎。通过适当的参数调优和对类别不平衡的处理，One-vs-Rest 可以在多分类任务中表现出色，为解决复杂的分类问题提供了强有力的工具。对于 Spark 中的 One-vs-Rest 实现，还有一些高级用法和优化策略。模型调优。
sparkmllib矩阵向量
prometheus的博客
11-14 3357
Spark MLlib底层的向量、矩阵运算使用了Breeze库，Breeze库提供了Vector/Matrix的实现以及相应计算的接口（Linalg）。但是在MLlib里面同时也提供了Vector和Linalg等的实现。 使用需导入：import breeze.linalg._ import breeze.numerics._Breeze创建函数val m1 = DenseMatrix.zeros
3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-2
tianyaleixiaowu的专栏
10-16 1760
上一篇是矩阵的创建、连接等相关操作。 这一篇主要是矩阵的数值计算。 1 基本运算 元素加法 a+b 元素乘法 *:* 元素除法 /:/ 元素比较 <:< 元素相等 :== 元素追加 :+= 元素追乘 :*= 元素最大值 max(a) 元素最大值及位置 argmax(a) package b...
spark ALS源码余弦向量问题分析
u013303361的专栏
05-01 366
训练迭代求解部分暂未研究，本次只分析推荐计算得分排序部分，即主要的推荐函数recommendForAll，先看代码（红色是源码计算得分，蓝色是我改的计算得分方式，注BLAS.f2jBLAS是private的用不了，退一步用了blas.sdot）： def recommendForAll( srcFactors: DataFrame, ...
Spark MLib：分布式机器学习库详解
"Spark的MLib库提供了机器学习功能，旨在并行运行于集群环境，支持多种编程语言。本章主要介绍如何在Spark程序中使用MLib，适用于有一定机器学习背景的数据分析师和工程师。MLib通过RDDs处理数据，提供特定的数据...
Spark MLib的使用
Cat in Black Box
10-13 588
Spark MLib Intro MapReduce 不适合做机器学习-> 反复读写磁盘的开销/不适合机器学习需要的大量迭代计算。 MLib中只包含能够在集群上运行良好的并行算法，有些算法不能并行执行，所以无法包含在MLib中。 package：spark.mlib基于RDD；spark.ml基于dataframe。 机器学习流水线 dataframe/trans...
sparkMlib学习1
08-08
SparkMLlib是 Apache Spark 机器学习库，提供了一个统一的 API，用于机器学习任务的开发。SparkMLlib 提供了多种数据类型，包括 Vector、LabeledPoint 和 Matrix 等。这些数据类型是机器学习任务的基础，用于存储和...
关于BLAS的简单介绍
热门推荐
hehe199807的博客
09-02 1万+
BLAS(Basic Linear Algebra Subprograms基础线性代数程序集)是进行向量和矩阵等基本线性代数操作的事实上的数值库。这些程序最早在1979年发布，是LAPACK(Linear Algebra PACKage)的一部分，便于建立功能更强的数值程序包。BLAS库在高性能计算中被广泛应用，由此衍生出大量优化版本，如Intel 的Intel MKL，AMD的ACML，Goto BLAS和ATLAS等非硬件厂商优化版本，以及利用GPU计算技术实现的CUBLAS等。 BLAS的构成 BL
用 Spark 处理复杂数据类型（Struct、Array、Map、JSON字符串等）
weixin_34326558的博客
06-07 4450
处理复杂的数据类型 这里是从我个人翻译的《Spark 权威指南》第六章摘录的一部分，但我觉得书中这块讲的程度还不够，额外补充了一些 当然，更多内容可参见本系列《Spark The Definitive Guide Learning》（Spark 权威指南）学习翻译笔记，收录于此：josonle/Spark-The-Definitive-Guide-Learning 处理 Structs 的方法 这...
Spark中常用函数
weixin_57551874的博客
06-15 1941
1. filter过滤函数 df.filter(df.列名==值) 或者 df.filter("列名==值") 中间可以使用(或操作|) (与操作&) 2. union函数 df.union(df1) 可进行行合并的操作，df与df1的列名相同 3. 本地集合求并集 totalset = set1 | set2 set1=set(pandas['列名']) 4. pandas df 选择数据 df.iat[i,0] 选择行为i，列为0的数据 5. pyspark df选
解决Spark导入jblas包提示不存在的问题
chun19920827的博客
07-04 2671
最近仍然在研究《Spark机器学习》，在学习到4.4.2节“物品推荐”时，需要用到jblas包，书中一如既往地直接粗暴导入 import org.jblas.DoubleMatrix，然后便提示包不存在，陷入僵局 上网查询解决办法，解决的办法分为如下几种： 第一种：使用编译器导入外部jar包。这是一种好办法，但是我目前是在终端下启动spark-shell进行操作，电脑太渣跑不动PyCharm一
Spark ALS recommendForAll源码解析实战之Spark1.x vs Spark2.x
fansy1990的专栏
03-04 1231
文章目录Spark ALS recommendForAll源码解析实战1. 软件版本：2. 本文要解决的问题3. 源码分析实战3.1 Spark2.2.2 ALS recommendForAll 实战分析1. 首先给出其核心实现源码：2. blockify函数3. cartesian flatMap的优势4. flatMap的处理逻辑3.2 Spark1.6.3 ALS recommendForA...
Apache Spark 3.0 机器学习库（MLlib）指南
纸上得来终觉浅，绝知此事要躬行
09-06 1951
学习地址：https://spark.apache.org/docs/latest/ml-guide.html 学习目录 MLlib：主要指南 基本统计 数据源 流水线 提取，转换和选择特征 分类与回归 聚类 协同过滤 频繁模式挖掘 模型选择和调整 进阶主题 MLlib：基于RDD的API指南 资料类型 基本统计 分类与回归 协同过滤 聚类 降维 特征提取和转换 频繁模式挖掘 评估指标 PMML模型导出 优化（开发人员） 机器学习库（MLlib）指南 ..
Spark MLlib之矩阵
HoiDev
09-19 4325
Spark MLlib的底层组件 BLAS/LAPACK层 LAPACK是用Fortran编写的算法库，顾名思义，Linear Algebra Package是为了解决通用的线性代数问题。算法包BLAS(Basic Linear Algebra Subprograms)，其实LAPACK底层使用了BLAS库Netlib-java 对BLAS/LAPACK封装的Java接口层Breeze scala编
开源Go语言数值算法库 An open numerical library purely based on Go programming language
chfenger的博客
12-19 741
开源Go语言数值算法库 An open numerical library purely based on Go programming language关于[goNum](https://github.com/chfenger/goNum)安装环境安装方法算法许可证书致谢 关于goNum goNum是一款完全以Go语言为基础的开源数值算法库，它可以使你像调用其它go函数一样使用其进行数值运算，且...
Scala 的矩阵运算
Trigl的博客
08-22 4284
本文讲解 Scala 中进行矩阵运算的包 breeze 的一些基础操作。 Breeze 是 Scala 中用于线性代数相关数值运算的开源库。 安装 首先我们使用 SBT 导入： libraryDependencies ++= Seq( // Last stable release "org.scalanlp" %% "breeze" % "0.13.2", //...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值