python sklearn包中的主成分分析_利用sklearn对大型稀疏矩阵进行主成分分析

在尝试使用sklearn的RandomizedPCA对大型稀疏矩阵进行主成分分析时遇到错误。输入矩阵是形状为(2365436, 1617899)的Compressed Sparse Row格式。当直接应用RandomizedPCA时,它要求输入为稠密矩阵,而转换为稠密矩阵会导致内存错误。" 79232174,4948213,kaggle与天池大数据比赛体验对比,"['数据挖掘', 'python', 'kaggle', '天池', '比赛平台']
摘要由CSDN通过智能技术生成

我试图将主成分分析应用于大型稀疏矩阵,在下面的链接中,它说明sklearn的randomizedPCA可以处理scipy稀疏格式的稀疏矩阵。

Apply PCA on very large sparse matrix

但是,我总是犯错误。有人能指出我做错了什么吗。

输入矩阵“X_train”包含float64中的数字:>>>type(X_train)

>>>X_train.shape

(2365436, 1617899)

>>>X_train.ndim

2

>>>X_train[0]

<1x1617899 sparse matrix of type ''

with 81 stored elements in Compressed Sparse Row format>

我想做的是:>>>from sklearn.decomposition import RandomizedPCA

>>>pca = RandomizedPCA()

>>>pca.fit(X_train)

Traceback (most recent call last):

File "", line 1, in

File "/home/RT11/.pyenv/versions/2.7.9/lib/python2.7/site-packages/sklearn/decomposition/pca.py", line 567, in fit

self._fit(check_array(X))

File "/home/RT11/.pyenv/versio

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值