参考文章:
https://blog.csdn.net/u013733326/article/details/79639509
https://www.cnblogs.com/chay/articles/10575174.html
https://www.imooc.com/article/69514
读取数据集
def load_dataset():
train_dataset = h5py.File('datasets/train_catvnoncat.h5', "r")
train_set_x_orig = np.array(train_dataset["train_set_x"][:]) # your train set features
train_set_y_orig = np.array(train_dataset["train_set_y"][:]) # your train set labels
test_dataset = h5py.File('datasets/test_catvnoncat.h5', "r")
test_set_x_orig = np.array(test_dataset["test_set_x"][:]) # your test set features
test_set_y_orig = np.array(test_dataset["test_set_y"][:]) # your test set labels
classes = np.array(test_dataset["list_classes"][:]) # the list of classes
train_set_y_orig = train_set_y_orig.reshape((1, train_set_y_orig.shape[0]))
test_set_y_orig = test_set_y_orig.reshape((1, test_set_y_orig.shape[0]))
return train_set_x_orig, train_set_y_orig, test_set_x_orig, test_set_y_orig, classes
数据预处理
#导入数据,“_orig”代表这里是原始数据,我们还要进一步处理才能使用
train_set_x_orig, train_set_y, test_set_x_orig, test_set_y, classes = load_dataset()#由数据集获取一些基本参数
#其中train_set_y为训练集中的标签数组
m_train = train_set_x_orig.shape[0] #训练集大小209
m_test = test_set_x_orig.shape[0] #测试集大小50
num_px = train_set_x_orig.shape[1] #图片宽度64,大小是64×64
#将图片数据向量化(扁平化)
train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0],-1).T
#T表示转置,-1表示剩余元素除了逗号前面的进行扁平化
test_set_x_flatten = test_set_x_orig.reshape(test_set_x_orig.shape[0],-1).T
#对数据进行标准化
train_set_x = train_set_x_flatten/255.
test_set_x = test_set_x_flatten/255.
说明:
-
train_set_x_orig:是原始数据的形状(209, 64, 64, 3),第一维代表m,即样本数量,第二维第三维分别是图片的长和宽,第四维代表图片的RGB三个通道。
-
.shape可以获取一个矩阵的形状,可通过[i]来知道每一维的大小;
.reshape()用来重构矩阵的形状,直接在里面填写维度即可
此处的特殊用法:当要把一个向量X(m,a,b,c)这个四维向量扁平化成X_flatten(m,a* b* c)的二维向量,可以写X_flatten=X.reshape(X.shape[0],-1)即可,其中“-1”代表把剩余维度压扁的模式。而代码中还有一个.T,代表转置,因为我们希望把训练样本压缩成(64* 64 *3,m)的形式。 -
经过标准化(也称归一化)之后,等高线就变规矩了,就很容易梯度下降了。另外,对于图片数据的话,进行标准化很简单,因为RGB三个通道的范围都是255,我们对图片的处理就是直接除以255即可。
后面的步骤比较简单,阅读代码就可以了解怎么实现