python节省内存_Python使用稀疏矩阵节省内存方法

Python使用稀疏矩阵节省内存方法

发布于 2014-09-04 22:32:17 | 632 次阅读 | 评论: 0 | 来源: 网友投递

Python编程语言Python 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。

本文主要为大家讲解了在Python下使用稀疏矩阵节省内存的方法,矩阵中非零元素的个数远远小于矩阵元素的总数，并且非零元素的分布没有规律，则称该矩阵为稀疏矩阵,感兴趣的同学参考下.

推荐系统中经常需要处理类似user_id, item_id, rating这样的数据，其实就是数学里面的稀疏矩阵，scipy中提供了sparse模块来解决这个问题，但scipy.sparse有很多问题不太合用：

1、不能很好的同时支持data[i, ...]、data[..., j]、data[i, j]快速切片；

2、由于数据保存在内存中，不能很好的支持海量数据处理。

要支持data[i, ...]、data[..., j]的快速切片，需要i或者j的数据集中存储；同时，为了保存海量的数据，也需要把数据的一部分放在硬盘上，用内存做buffer。这里的解决方案比较简单，用一个类Dict的东西来存储数据，对于某个i(比如9527)，它的数据保存在dict['i9527']里面，同样的，对于某个j(比如3306)，它的全部数据保存在dict['j3306']里面，需要取出data[