1.卷积(不包括特别的变式卷积)主要分为正常卷积(1,2,3d)和转置卷积,卷积的作用是提取特征
2.池化:对数据进行收集(多变少)并总结(最大值或者平均值)
3.全连接层:对前一层线性组合,线性变换
4.激活层:对特征进行非线性变换,赋予神经网络深度的意义
列举一些:sigmoid:特性:输出在(0,1),符合概率,导数范围在【0,0.25】会出现梯度消失(链式求导),输出为非0均值,破坏数据分布。
tanh:输出值在(-1,1),数据符合0均值,导数范围在【0,1】,在网络层数多的情况下,易出现梯度消失。
relu:输出值均为正数,负半轴导致死神经元,导数是1,缓解梯度消失,易出现梯度爆炸。
卷积,池化,线性,激活层分别的作用
最新推荐文章于 2024-05-04 23:11:48 发布