矩阵python如何处理_python – 如何处理巨大的矩阵？

我正在通过监督学习进行主题检测.但是,我的矩阵尺寸非常大(202180 x 15000),我无法将它们放入我想要的模型中.大多数矩阵由零组成.只有逻辑回归才有效.有没有办法让我可以继续使用相同的矩阵,但是让他们能够使用我想要的模型？我可以用不同的方式创建我的矩阵吗？

这是我的代码：

import numpy as np

import subprocess

from sklearn.linear_model import SGDClassifier

from sklearn.linear_model import LogisticRegression

from sklearn import metrics

def run(command):

output = subprocess.check_output(command, shell=True)

return output

加载词汇

f = open('/Users/win/Documents/wholedata/RightVo.txt','r')

vocab_temp = f.read().split()

f.close()

col = len(vocab_temp)

print("Training column size:")

print(col)

创建火车矩阵

row = run('cat '+'/Users/win/Documents/wholedata/X_tr.txt'+" | wc -l").split()[0]

print("Training row size:")