我正在通过监督学习进行主题检测.但是,我的矩阵尺寸非常大(202180 x 15000),我无法将它们放入我想要的模型中.大多数矩阵由零组成.只有逻辑回归才有效.有没有办法让我可以继续使用相同的矩阵,但是让他们能够使用我想要的模型?我可以用不同的方式创建我的矩阵吗?
这是我的代码:
import numpy as np
import subprocess
from sklearn.linear_model import SGDClassifier
from sklearn.linear_model import LogisticRegression
from sklearn import metrics
def run(command):
output = subprocess.check_output(command, shell=True)
return output
加载词汇
f = open('/Users/win/Documents/wholedata/RightVo.txt','r')
vocab_temp = f.read().split()
f.close()
col = len(vocab_temp)
print("Training column size:")
print(col)
创建火车矩阵
row = run('cat '+'/Users/win/Documents/wholedata/X_tr.txt'+" | wc -l").split()[0]
print("Training row size:")