Fancy PCA图像扩充总结(附代码)

Fancy PCA图像扩充总结(附代码)

论文链接:ImageNet Classification with Deep Convolutional Neural Networks

PCA原理参考:PCA (主成分分析)详解 (写给初学者)

示例代码:fancy_pca.py

几天前,老师叫我使用PCA(主成分分析)方法来做图像扩充的任务,在此之前对这方面基本不了解,故参考了上述链接的论文(4.1小节第三段)。论文中没有讲述PCA具体的原理,如果对PCA原理不太清楚的话,可以参考上述第二个链接。好了,下面开始步入正题。


为什么需要图像扩充?

当训练网络的训练集较少时,容易造成过拟合,所以常常通过图像扩充来生成更大的数据集,能够使得神经网络学习到更多的特征,进而从根本上提升网络的性能。

更多图像扩充的方法


Fancy PCA

通常图像具有RGB三个通道,例如一张256 * 256的彩色图像具有(256, 256, 3)的尺寸,每一个通道形成一组数据,将图像尺寸改成((256*256), 3),进而将图像转换成一个三维向量。然后对其执行PCA,得到一个3 * 3的协方差矩阵,通过该矩阵求得特征值与特征向量,特征值与特征向量按从大到小的顺序进行排序。计算公式如下:

其中[P1,P2,P3]表示特征向量,[λ1,λ2,λ3]表示特征值。在论文中α是一个服从均值为0,标准差为0.1的高斯分布。对于同一张图像,α = α1 = α2 = α3。上述公式得到的结果是一个尺寸为(3, 1)的向量,原图像的每个像素(R, G, B)都加上这个向量得到新的目标图像。

下面将通过跟随代码一步步理解Fancy PCA理解


1. 像素值归一化

opencv读到的图像像素值落在[0, 255]且为整数,在计算PCA之前我们需要将图像像素值进行归一化。

orig_img = img.astype(float).copy() # 复制原图像,为了方便最后像素相加
img = img / 255.0


2. 将归一化的图像转化成三维向量

按照RGB每一个通道作为一组数据,将RGB图像转化成一个三维向量。

img_rs = img.reshape(-1, 3)


3. 求协方差矩阵
# 样本矩阵中心化,即每一维度减去该维度的均值
img_centered = img_rs - np.mean(img_rs, axis=0)  

# 将新的样本矩阵乘上它的转置,然后除以(N - 1),N代表维度
# cov方法的功能就是通过样本矩阵求得协方差矩阵
img_cov = np.cov(img_centered, rowvar=False)


4. 求出特征值与特征向量

由于协方差矩阵的尺寸为[3 * 3],故特征向量的尺寸为[3 * 3],特征值的尺寸为[1 * 3]

# eig_vals: 特征值
# eig_vecs: 特征向量
# 每一列为一组
eig_vals, eig_vecs = np.linalg.eigh(img_cov)


5. 对特征值从大到小进行排序,并使特征向量与对应特征值的位置保持一致
# 求出特征值排序从大至小排序的序号
# eig_vals=[15, 12, 28]  -->  sort_perm=[2,0,1] 
sort_perm = eig_vals[::-1].argsort()

# 对特征值从大到小进行排序
eig_vals[::-1].sort()

# 特征向量与对应特征值的位置保持一致
eig_vecs = eig_vecs[:, sort_perm]


6. 将特征向量[P1, P2, P3]与公式中[α1λ1, α2λ2, α3λ3]相乘
# m1 --> [P1, P2, P3]
m1 = np.column_stack((eig_vecs))

# m2 --> [α1λ1, α2λ2, α3λ3]
# alpha_std --> 高斯分布的标准差,作为方法参数传进来
m2 = np.zeros((3, 1))
alpha = np.random.normal(0, alpha_std)
m2[;,0] = alpha * eig_vals[:]

# 将m1与m2进行矩阵相乘,得到add_vect
# add_vect即为最终加到原图像的每个像素点上的向量
add_vect = np.matmul(m1, m2)


7. 将add_vect加到原图像的每一个像素
# 像素值相加
for idx in range(3):
    orig_img[...,idx] += add_vect[idx]

# 对超出[0, 255]范围的像素值进行调整
# value < 0 --> value = 0
# value > 255 --> value = 255
# 0 <= value <= 255 --> 值不变  
orig_img = np.clip(orig_img, 0.0, 255.0)

# 对值取整
orig_img = orig_img.astype(np.uint8)

将最终得到的orig_img进行返回即可。


标准差参数alpha_std调整

在实现的过程中,按照论文将标准差设置为0.1时,发现得到的新图像与原图像几乎没有差异,于是将add_vect打印出来进行观察。

print(add_vect)

out:
[[ 0.01741496]
 [-0.01558548]
 [ 0.01257316]]


由于原图像的像素值在[0, 255]之间,而add_vect的值太小了,加上去后对原图像几乎没有什么影响,于是试着将alpha_std增大至100,观察效果如下。

所以我认为参数的具体值,应该根据自己的需求来进行调节。如果有人有调节出比较好的参数值,欢迎在评论区留言告诉我,谢谢!

©️2020 CSDN 皮肤主题: 黑客帝国 设计师:上身试试 返回首页