深度学习中那些小技巧

引言

本Blog用于记录在深度学习实验中一些需要注意的一些小陷阱、小Trick。防止自己再次入坑。

本贴长期更新

数据处理

1. 生成的数据集保存成npy文件时过大

在深度学习中，如果我们只有少量数据，则会采用数据扩充方法。比如一张图像扩充成20张。这样的过程汇带来存储空间的不足。后来发现，在numpy中如果不注意的话，经过一定的运算后的数组类型往往是float 类型，而浮点类型要比int型需要更多的存储空间，为此我专门做过实验，例如一个2800*216*64 的矩阵，分别按照unit8,float32,float64的类型存储，其大小分别为36.9Mb,147Mb,295Mb。对于没有必要使用浮点型的矩阵可以转换成int 型，对于图像而言，uint8 就完全足够了，可以节省很多空间。

#numpy中矩阵类型查看，假设矩阵为image
# import numpy as np
[In:] image.dtype  #打印该矩阵的数据类型
[Out:] dtype('float64')
[In:] image = image.astype(np.uint8)  #类型转换
[In:] image.dtype
[Out:] dtype('unit8')

更新于2018-05-05