Xiao_Bai_Ke的博客

import torchimport torchvisionimport torchvision.transforms as transformsimport matplotlib.pyplot as pltimport numpy as nptransform=transforms.Compose( [ #将图片的灰度范围从0-255转到0-1 transforms.ToTensor(), #（0.5，0.5，0.5） 是 R G B .

1.梯度下降是一种优化方法，可以看做一种理论。例如想从山顶走到山脚，最快的方式就是沿着最陡的方向走。2.卷积神经网络中，由于网络的特性，需要将每个真实值与预测值的误差传递到前面的网络的神经元中，就需要使用反向传播的方式，可以说反向传播是梯度下降在卷积神经网络的实现，因为梯度下降不仅仅应用在卷积神经网络中。...

卷积神经网络中激活函数，理论上可以是线性函数：例 但是在模型中一般选用非线性的激活函数。(1)sigmoid函数：(2)双曲正切函数：(3)硬限幅函数(4)斜面函数（5）修正线性单元函数（ReLU）（6）渗漏修正线性单元（LReLU）{a属于(0,1)，若a随机生成则为PReLU}（7）参数修正线性单元（PReLU）{a<=1,为可调参数}...