第一个问题是很好的答案here。在
对于第二个问题,答案是你需要根据对应的特征值对特征向量进行排序。为此,您可以使用pythonnp.argsort(),然后反转此顺序(argsort顺序从小到大):indexes = np.argsort(eigenvalues)[::-1]
eigval = eigenvalues[indexes]
eigvec = eigenvectors[:,indexes]
检查你的代码,我发现了几个问题:现在,你得到了所有的特征向量,你忽略了nb_components参数,你只需要你需要的向量。这是用
eigenvectors = eigenvectors[:,indexes][0:nb_components]
对于规范化向量(在pca函数中),您使用的是从0到n的For循环,但是如果只要求您提供3个特征向量,那么您将只有3列。若要解决此问题,请从0迭代到nb_components。
除此之外,你的代码运行得很好。我试着只用了3个主成分,最后得到了6/6。在我看来,显示特征向量时的区别只是从float转换到uint8以使用imshow时的表示问题。在
关于负特征值,这只是eigh的问题。由于特征值表示一个方向上的方差,我们关心绝对值,但如果我们改变符号,我们也必须改变“方向”(特征向量)。你可以用-1.0乘以负特征值及其对应的特征向量(参见this):
^{pr2}$
您也可以使用numpy.linalg.svd(docs)来解决这个问题,但是它应该比numpy.linalg.eigh慢。在
总而言之,这是我从你那里得到的代码(我在这里处理时删除了所有注释,以使其更简短):def pca(X, nb_components=0):
[n,d] = X.shape
if (nb_components <= 0) or (nb_components>6):
nb_components = n
MU = X.mean(axis=0)
for i in range(n):
X[i,:] -= MU
S = (np.dot(X, X.T) / float(n))
eigenvalues, eigenvectors = np.linalg.eigh(S)
s = np.where(eigenvalues < 0)
eigenvalues[s] = eigenvalues[s] * -1.0
eigenvectors[:,s] = eigenvectors[:,s] * -1.0
indexes = np.argsort(eigenvalues)[::-1]
eigenvalues = eigenvalues[indexes]
eigenvectors = eigenvectors[:,indexes][:,0:nb_components]
eigenvectors = np.dot(X.T, eigenvectors)
for i in range(nb_components):
eigenvectors[:,i] = normalize_vector(eigenvectors[:,i])
return (eigenvalues, eigenvectors, MU)