SparkMatrix的存储原理

最新推荐文章于 2024-09-14 19:55:48 发布
最新推荐文章于 2024-09-14 19:55:48 发布
阅读量164 收藏
点赞数 3
分类专栏： 数据结构 python机器学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixia0417mul2/article/details/141102960
版权

背景

spark的稀疏矩阵使用到了CCS列压缩存储，为了搞清楚CCS的压缩表示方式，本文就记录下CCS的表示方法

SparkMatrix的存储原理

稀疏矩阵是指大的矩阵中只有少数坐标有值的情况，比如1000*1000的矩阵只有10个非0元素，这种情况下使用稠密矩阵存储会浪费大量的空间，所以可以使用稀疏矩阵存储，只存储非0元素以及对应的坐标值，这里就是我们最容易理解的COO的存储方式，也就是行和列分别存储非0元素是坐标，value存储非0元素的值，然而COO表示法还可以进一步精简，比如对行进行压缩变成CSC行压缩存储表示，或者对列进行压缩变成CCS列压缩表示，本文就通过示意图来讲解下SparkMatrix使用的这种存储格式的原理：
在这里插入图片描述

lixia0417mul2
关注
专栏目录
Spark机器学习（二）数学基础（下）
astra_zhao的专栏
11-21 393
9.矩阵 F 域中的矩阵是指由 F 域中的元素构成的二维数组。比如实数域中的一个矩阵可为： 1 2 3 10 20 30 上述矩阵有 2 行 3 列，被称为 2×3 矩阵。人们通常用数字来指代行和列。行 1 是(1 2 3)，行 2 是(10 20 30)；列 1 是(1 10)，列 2 是(2 20)，列 3 是(3 30)。通常，一个 m 行 n 列的矩阵称为 m×n 矩阵。对于给定矩阵 A，其元素(i, j)定义为第 i 行第 j 列的元素，并通过 Ai,j或 Aij来表示。 后续内容
Spark机器学习-Java版（一）-向量和矩阵
mrdragon的博客
03-21 1524
1、概述 Spark早期版本时,MLlib是基于RDD来进行分析的,其使用的是 spark. mllib包。而言2.0版本后,由RDD这种抽象数据结构转换到了基于 dataframe上,其相关API也被封装到了 spark.ml包下。而在 spark MLlib/ML中为了方便数据的整理和分析,将存储数据的格式转化为向量和矩阵进行存储和计算,以便将数据定量化。 1.1向量和矩阵...
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 188
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 525
蒙特卡罗——布丰实验
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1112
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
Python——俄罗斯方块
最新发布
2302_81225694的博客
09-14 284
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
JIT编译器
Flying_Fish_roe的博客
09-11 575
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
Python 检测人脸筛选指定尺寸人脸图片
刚刚入门的小码农
09-09 692
主要功能是处理一个指定文件夹中的所有图像文件（.jpg和.png），并根据图像中检测到的人脸特征，筛选和移动符合条件的图像。
python-游戏自动化（二）（OpenCV图像运用基础）
qiqi776532的博客
09-11 1154
图像二值化可以简单理解成，就是把图像转换成黑白两种颜色（一般用于提取图像特征），二值化图像：只有两种颜色，黑和白，255白色，0黑色。结合前面学习的彩色图像和灰度图像，一起来做个对比。彩色图像：三个通道0-255，0-255，0-255，所以可以有2^24位空间灰度图像：一个通道0-255,所以有256种颜色二值图像：只有两种颜色，黑和白，255白色，0黑色图像匹配，就是从一个图像中找出想要的小图像，打个比方：就好比拿着老师的头像寸照，然后去师的大学毕业照里面一个个的头像对照然后将老师找出来。
JS笔记
2201_76100326的博客
09-11 875
javascript中的对象分为3种：自定义对象，内置对象，浏览器对象 JavaScript 中的所有事物都是对象：字符串、数字、数组、日期，等等。在 JavaScript 中，对象是拥有属性和方法的数据。属性是与对象相关的值。方法是能够在对象上执行的动作。.关键词（）
Python基础
flash的博客
09-06 1548
newline=''是一个重要的参数，用于防止在写入文件时在不同的操作系统上产生不必要的空行。将 json 转化为 python 对象，存放在内存中。python 文件名 参数1 参数2。
pip 阿里云镜像报错 certificate verify failed: unable to get local issuer certificate
m0_74253823的博客
09-10 453
在没有管理员身份，且有防火墙限制的电脑上，pip安装​python库包失败。​但是在普通的电脑上安装正常。​解决方案：本地电脑上信任宿主主机trusted-host。
基于深度学习的零售柜商品识别系统实战思路
a871923942的博客
09-11 1132
YOLOv5是YOLO算法的一个实现版本，它在速度和准确性之间取得了很好的平衡。现在我们的数据已经准备好了，是时候训练我们的模型了。为了训练模型，我们需要为每张图像创建一个对应的标签文件，指明图像中物体的位置和类别。这段代码添加了一个新的标签来显示视频流，一个按钮来开始/停止实时识别，以及相应的方法来捕获和处理视频帧。这段代码创建了一个基本的窗口，包含一个图像显示区域、一个上传按钮、一个识别按钮和一个结果显示标签。为了提高系统的响应性，特别是在处理大图像或视频流时，我们可以使用多线程来进行识别。
Python编码系列—Python建造者模式：构建复杂对象的优雅之道
u013889591的专栏
09-14 669
在软件开发中，我们经常需要创建一些复杂的对象，这些对象的构建过程可能涉及多个步骤，并且这些步骤可能会根据具体的情况有所变化。建造者模式（Builder Pattern）提供了一种解决方案，它能够让你分步骤创建复杂对象，并允许你只通过必要的步骤来构建对象，从而使得代码更加灵活和可维护。本文将深入探讨Python中的建造者模式，包括其背景、原理、使用场景、代码实现和实际应用案例。建造者模式是一种对象创建型设计模式，它将一个复杂对象的构建与其表示分离，使得同样的构建过程可以创建不同的表示。
构建高效 Python Web API：RESTful 设计与 GraphQL 实践
weixin_52392194的博客
09-11 1298
在现代 Web 开发中，API 是前后端通信的核心枢纽，设计一个高效且易于扩展的 API 是保证系统良好运行的基础。本文详细探讨 RESTful API 的设计准则，如何生成 API 文档，GraphQL 的应用，以及如何在 FastAPI 和 Django REST Framework 中实现分页、过滤、认证等功能。
nvdia和cuda的区别与联系
weixin_42795092的博客
09-12 266
NVIDIA的GPU设计用于处理图形渲染等任务，但随着技术的发展，GPU的计算能力不再局限于图形处理，而是扩展到更广泛的领域，如科学计算、深度学习、数据挖掘等。）是由NVIDIA推出的一种并行计算架构和编程模型。简单来说，NVIDIA是硬件制造商，而CUDA是NVIDIA提供的一种软件架构和工具，用于充分发挥其GPU的计算潜力。NVIDIA通过其GPU硬件提供了强大的计算能力，而CUDA作为一种并行计算架构和编程模型，使得开发者能够更加高效地利用这些计算能力，加速各种计算密集型任务的处理速度。
GEE 将本地 GeoJSON 文件上传到谷歌资产
ThsPool的博客
09-11 1058
在地理信息系统（GIS）领域，Google Earth Engine（GEE）是一个强大的平台，它允许用户处理和分析大规模地理空间数据。本文将介绍如何使用 Python 脚本批量上传本地 GeoJSON 文件到 GEE 资产存储，这对于需要将地理数据上传到 GEE 进行进一步分析的用户来说非常有用。
【python - 函数】
zhhdbehx的博客
09-13 823
原始的内置数据和函数：数字和算术运算组合方式：嵌套函数受限的抽象方式：将名称与值绑定现在我们来学习函数定义，这是一种更为强大的抽象技术，通过它可以将名称与复合操作绑定为一个单元。首先来研究一下平方的概念。我们可能会说：“平方就是一个数乘以它本身。上面的代码定义了一个名为square的新函数，这个用户定义的函数并不会内置到解释器中，它表示将某值与自身相乘的复合运算。这个定义将x作为被乘的东西的名称，称为形式参数，同时也将此函数与名称square绑定。如何定义函数：函数定义包含def语句、
Qiskit：量子计算的Python工具包
零度°C的博客
09-11 466
Qiskit是由IBM开发的开源量子计算软件开发工具包，它提供了一套完整的工具，用于量子电路的设计、模拟、优化和执行。Qiskit支持量子算法的开发，并且可以与IBM的量子计算机硬件进行交互。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值