推荐系统笔记（十一）：使用coo_matrix函数遇到的坑

coo_matrix函数的用法

         由于用法不是介绍的重点，这里直接简要说说：

        使用格式： coo_matrix((data, (row, col)), shape=(, ))
        代码举例如下：

from scipy.sparse import coo_matrix, hstack
import pandas as pd

da = pd.read_csv('data/dummy/data.csv')

num = len(da['user']) # 列的长度
rows = list(range(num))   # list(range(5)):[0,1,2,3,4]
num1 = coo_matrix(([1] * num, (rows, da['user'])), shape=(num, 3)).toarray()
print(num1)

data.csv文件内容为： 

运行结果：

详细使用方法请参考：coo_matrix使用方法

 

TypeError: ‘coo_matrix‘ object is not subscriptable

        当尝试索引coo_matrix的时候就会发生以上错误，原因是稀疏矩阵coo_matrix不直接支持切片操作。切片操作本质上是根据一系列下标索引来获取元素。所以稀疏矩阵coo_matrix不直接支持根据下标索引来获取元素。

        那么应该如何解决？我在做推荐系统任务过程中需要随机剔除掉coo_matrix的一些列和行，但无法通过索引的方式去进行矩阵相乘去将某行置为零，因此我直接将对应的data置为零就可以了。

        但一般的解决办法是利用函数.toarray转化为array就可以进行索引和乘积了，即：

          coo_matrix((data, (row, col)), shape=(M,N)).toarray()

        但是数组过大使用numpy的dot算法可能会内存溢出。内存溢出有以下解决方案：

        1. 修改numpy为64bit的版本。

        2. 修改精度float64为float16、float32等等低精度。

        3. 去控制台修改可供使用的虚拟内存。