data augmentation

一般比较有效的有random crop, random mirror, random resize (scale augmentation)。以上三种实现简单而且有效，基本能复现resnet的结果。至于color augmentation, random rotation, aspect ratio augmentation感觉效果几乎没有，尤其是color augmentation，貌似还有一点点反作用
看到这段话的时候微微崩溃，因为已经试过了简单的da，正准备尝试color aug

不过还是要总结下，

在CS231N的课程上看到过PCA对RGB降维的操作,感觉很高级，就查了一波。
PCA Jittering最早是由Alex在他2012年赢得的ImageNet竞赛的那篇NIPS中提出的，首先按照RGB三个颜色通道计算均值和标准差，对网络的输入数据进行规范化，随后我们在整个训练集上计算了协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCA Jittering。

在训练集像素值的RGB颜色空间进行PCA, 得到RGB空间的3个主方向向量,3个特征值, p1, p2, p3, λ1, λ2, λ3. 对每幅图像的每个像素Ixy=[IRxy,IGxy,IBxy]T进行加上如下的变化:

[p1,p2,p3][α1λ1,α2λ2,α3λ3]T

其中:αi是满足均值为0,方差为0.1的随机变量.
做完之后

AlexNet 训练的时候，在data augmentation上处理的很好：

• 随机crop。训练时候，对于256＊256的图片进行随机crop到224＊224，然后允许水平翻转，那么相当与将样本倍增到((256-224)^2)*2=2048。
• 测试时候，对左上、右上、左下、右下、中间做了5次crop，然后翻转，共10个crop，之后对结果求平均。作者说，不做随机crop，大网络基本都过拟合(under substantial overfitting)。
• 对RGB空间做PCA，然后对主成分做一个(0, 0.1)的高斯扰动。结果让错误率又下降了1%。

不知道为什么我用了这段代码：

# 随后我们在整个训练集上计算了协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCA Jittering。
def PCA_Jittering(path):  
    img_list = os.listdir(path)  
    img_num = len(img_list)  

    for i in range(img_num):  
        img_path = os.path.join(path, img_list[i])  
        img = Image.open(img_path)  
        plt.imshow(img)  
        plt.show()
        img = np.asanyarray(img, dtype = 'float32')  

        img = img / 255.0  
        img_size = img.size / 3 
        print(img.size)
        img1 = img.reshape(img_size, 3)  
        img1 = np.transpose(img1)  
        img_cov = np.cov([img1[0], img1[1], img1[2]])  
        lamda, p = np.linalg.eig(img_cov)  #计算矩阵特征向量

        p = np.transpose(p)  

        alpha1 = random.normalvariate(0,0.3)  #生成正态分布的随机数
        alpha2 = random.normalvariate(0,0.3)  
        alpha3 = random.normalvariate(0,0.3)  

        v = np.transpose((alpha1*lamda[0], alpha2*lamda[1], alpha3*lamda[2])) #加入扰动  
        add_num = np.dot(p,v)  

        img2 = np.array([img[:,:,0]+add_num[0], img[:,:,1]+add_num[1], img[:,:,2]+add_num[2]])  

        img2 = np.swapaxes(img2,0,2)  
        img2 = np.swapaxes(img2,0,1)  
        save_name = 'pre'+str(i)+'.png'  
        save_path = os.path.join(path, save_name)  
#         misc.imsave(save_path,img2)  

        plt.imshow(img2)  
        plt.show()

效果不是很好：

下午再看一遍代码，感觉找到了原因。我在做这个操作的时候没有事先对图片做规范化。上面就/255 不过实际效果也就那样吧，color变换并不能带来太大的提升。

一些color变换参考了下面的源码。torch不会用，感慨下现在机器学习框架多到爆炸，真是被keras惯的越来越懒。
https://github.com/facebook/fb.resnet.torch