python 稀疏存储与计算-scipy.sparse学习笔记（持续更新...）

最新推荐文章于 2024-05-30 10:52:52 发布
最新推荐文章于 2024-05-30 10:52:52 发布
阅读量5.2k 收藏 5
点赞数 1
分类专栏： python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shevchenkoNIIT/article/details/77747811
版权
本文介绍了Scipy.sparse模块中的稀疏矩阵类型，包括csr_matrix、csc_matrix、coo_matrix、bsr_matrix、dia_matrix、dok_matrix和lil_matrix，详细阐述了各自的优缺点以及适用场景。重点讨论了在稀疏矩阵计算中如何选择合适的存储格式，并提到了矩阵运算的注意事项，如matrix.multiply()的使用和lil_matrix在特定操作中的效率优势。
摘要由CSDN通过智能技术生成



官网链接：https://docs.scipy.org/doc/scipy/reference/sparse.html


常用的几种稀疏矩阵存储形式以及适用场景：


1. csr_matrix:

     优点：1. 能进行高效的算术运算。如：csr+csr，csr*csr

               2. 行切片很高效

               3. 矩阵向量内积很快

     缺点：1. 列切片很慢 （可以考虑csc）

最低0.47元/天 解锁文章
Shev_7
关注
专栏目录
Python学习----使用稀疏特征对文本文档进行分类
临风暖阳的博客
05-08 413
This is an example showing how scikit-learn can be used to classify documents by topics using a bag-of-words approach. This example uses a scipy.sparse matrix to store the features and demonstrates various classifiers that can efficiently handle sparse ma.
scipy sparse matrix multiplication矩阵乘法
bagba的知识分享库
09-02 1985
scipy sparse matrix multiplication 矩阵乘法
Python scipy.sparse稀疏矩阵使用感悟
lishu14的博客
12-12 7657
默认使用csr格式的稀疏矩阵 1、如果要统计稀疏矩阵全部元素的和，不要用sum(a)，用np.sum(a)或则a.sum()就好。对于shape=10000*10000的矩阵而言，全部求和采用np.sum比sum高效得多： number = np.sum(sum(xtest_mask),axis=1)[0,0]   2.2秒 number = np.sum(xtest_mask)  0.00...
Scipy.sparse中coo_matrix、csc_matrix、csr_matrix、lil_matrix辨析
调皮李小怪博客
05-17 3520
简介 1. coo_matrix: 坐标格式的矩阵(Coodrdinate format matrix) data = [1, 1, 1] row = [0, 1, 1] col = [0, 1, 1] matrix = sp.coo_matrix((data, (row, col)), shape=(3, 3)) matrix.todense() out: matrix([[1, 0, 0], [0, 2, 0], [0, 0, 0]]) 优点： 不同稀疏格式间
lil_matrix（）
qq_42018521的博客
07-22 471
稀疏矩阵
python——稀疏矩阵scipy.sparse
chansf的博客
06-05 1426
coo_matrix无法对矩阵的元素进行增删改等操作，一旦创建之后，除了将之转换成其它格式的矩阵，几乎无法对其做任何操作和矩阵运算。coo_matrix((M, N), [dtype])：生成形状为(M, N)的指定数据类型dtype的coo_matrix稀疏矩阵。最简单的存储方式，分别用row、col、val三个数组存储矩阵非零元素的行下标，列下标与值。coo_matrix(S)：将别的格式的稀疏矩阵S转成coo_matrix稀疏矩阵。row：矩阵非零元素的行下标数组。col：矩阵非零元素的列下标数组。
04-python-稀疏矩阵-线性代数-稀疏矩阵的线性代数
02-09
总结来说，理解和掌握Python中的稀疏矩阵与线性代数是进行高级数据分析和科学计算的关键。通过`scipy.sparse`模块，我们可以高效地存储、操作和解决涉及大量零元素的矩阵问题，这对于处理大规模数据集尤其有用。同时...
154、Python稀疏矩阵：存储与计算的艺术
最新发布
silenceallat的博客
05-30 844
本文介绍了Python中稀疏矩阵的存储和计算方法，强调了其在处理大规模稀疏数据时的优势。通过`scipy.sparse`库，可以高效地创建和操作稀疏矩阵，从而节省存储空间并提高计算效率。文章结合实际案例，如社交网络分析、自然语言处理、金融风险分析和大气化学模型，展示了稀疏矩阵在各个领域的应用，并提供了实用的技巧和最佳实践。掌握稀疏矩阵的使用对于软件开发者来说具有重要意义。
用于编程竞赛的Python库_Python_下载.zip
04-25
4. **图论与网络流**：Python库`networkx`可以帮助处理图论问题，`scipy.sparse`处理稀疏矩阵，适合大规模图的运算。 5. **数学库**：`math`库提供了基本的数学函数，`numpy`和`scipy`则提供了更高级的数学计算和...
学习笔记1
08-08
本篇学习笔记将聚焦于Scipy库中用于合并稀疏矩阵的两个函数：`scipy.sparse.hstack` 和 `scipy.sparse.vstack`。 1. **Scipy.sparse.hstack**: 这个函数用于水平堆叠多个稀疏矩阵。在二维数组或矩阵的概念中，水平...
python scipy 稀疏矩阵详解
热门推荐
jeffery0207的博客
08-25 4万+
文章目录稀疏矩阵格式coo_matrixcsr_matrixcsc_matrixlil_matrixdok_matrixdia_matrixbsr_matrix实用函数经验总结 稀疏矩阵格式 coo_matrix   coo_matrix是最简单的稀疏矩阵存储方式，采用三元组(row, col, data)(或称为ijv format)的形式来存储矩阵中非零元素的信息。在实际使用中，一般coo_m...
Scipy.sparse中coo_matrix、csc_matrix、csr_matrix、lil_matrix区别与特点
ltrbless的博客
02-27 7114
简介 coo_matrix: 坐标格式的矩阵(coodrdinate format matrix) 优点： 不同稀疏格式间转换效率高(exp:CSR/CSC) 构建矩阵时，允许坐标重复 data = [1, 1, 1] row = [0, 1, 1] col = [0, 1, 1] matrix = sp.coo_matrix((data, (row, col)), shape=(3, 3))...
python计算稀疏表示的TF-IDF
Bryan__的专栏
04-02 4132
使用sklean的计算方法，这种结果是稠密矩阵，如果数据集太大，计算结果将会占满内存，或者直接报MemeryError的错误。 tfidf详细计算参考：https://blog.csdn.net/Eastmount/article/details/50323063 import jieba import jieba.posseg as pseg import os import ...
scipy.sparse.coo_matrix、csr_matrix、lil_matrix、dia_matrix
qq_43391414的博客
10-07 2050
1.coo啥意思？COOrdinate（坐标） 2.那么coo_matrix又是一个啥？这么跟你说吧，稀疏矩阵有很多表示的方法，其中coo_matrix是一种，其表示稀疏矩阵所用的方法名字就叫做COOrdinate或者叫做ijv,triplet A sparse matrix in COOrdinate format. Also known as the ‘ijv’ or ‘triplet’ format. 首先，我们要明白，矩阵可以看作是一个坐标，每一个坐标上都有一个值。 怕你英语不好 ijv:（i
矩阵连乘（several matrix multiply）
dkgk12781的博客
09-27 281
#include <iostream>#include <cstdio> using namespace std; void traceBack(int i, int j, int **s){ if(i==j) //the function is used to record the optimal solution { return; ...
scipy.sparse中csc_martrix和csr_matrix两个稀疏矩阵的区别
donyzh的博客
11-28 1525
官方参考文档链接： https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.csc_matrix.html https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.csr_matrix.html 直接上官方文档的例子进行解释：
Graph Convolution Network图卷积网络（二）数据加载与网络结构定义
祥瑞的技术博客
04-19 1万+
背景 : 弄懂Graph Convolution Network的pytorch代码如何加载数据并且如何定义网络结构的。 代码地址：https://github.com/tkipf/pygcn 论文地址：https://arxiv.org/abs/1609.02907 Semi-Supervised Classification with Graph Convolutional Network...
Python将非对称邻接矩阵转变为对称邻接矩阵(有向图转无向图)
iamjingong的博客
07-26 4856
import numpy as np from scipy.sparse import coo_matrix adj = coo_matrix((np.ones(5), ([3, 4, 0, 2, 1], [0, 2, 1, 4, 3])), shape=(5, 5), dtype=np.float32) adj = adj + adj.T.multiply(adj.T > adj) -...
scipy.sparse转torch.sparse
03-31
scipy.sparse是Python中用于处理稀疏矩阵的库，而torch.sparse是PyTorch中处理稀疏张量的模块。如果你想将scipy.sparse矩阵转换为torch.sparse张量，可以按照以下步骤进行操作： 1. 首先，确保你已经安装了scipy和PyTorch库。 2. 导入所需的库： ```python import scipy.sparse as sp import torch ``` 3. 创建一个scipy.sparse矩阵： ```python sparse_matrix = sp.csr_matrix([[1, 0, 2], [0, 3, 0], [4, 0, 5]]) ``` 4. 将scipy.sparse矩阵转换为torch.sparse张量： ```python torch_sparse_tensor = torch.from_numpy(sparse_matrix.toarray()).to_sparse() ``` 这里使用了`toarray()`方法将稀疏矩阵转换为密集矩阵，然后使用`to_sparse()`方法将密集矩阵转换为稀疏张量。 5. 现在，你可以使用torch_sparse_tensor进行进一步的操作，如传递给PyTorch模型进行训练等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值