1.从全连接到卷积
1.1.1现代卷积网络
🌟AlexNet 双数据流通道
AlexNet比LetNet要深.
AlexNet由八层组成:五个卷积层,两个全连接隐藏层和一个全连接输出层
2) AlexNet使用ReLU而不是sigmaid作为其激活函数
dropout...
tf_random. set_seed(0)
layer = tf.keras.layers.Dropout(.2,input_shape=(2,))
data = p.arange(18).reshape (5, 2) .astype(np_float32)
print(data)
🌟VGG
🌟NiN网中网
🌟GoogleNet 含并行 ,不同维度卷积层
使用不同大小卷积核
- 特点
1吸收了NiN中串联网络的思想。
给出了一个观点:使用不同大小的卷积核组合是有利的。
- 基本的卷积块是Inception block
- Inception:
1) 由4条井行路径组成。
2)前三条路径使用使用窗口大小为1*1,3*3,5*5的卷积层。
3) 中间的2条路径在输入上执行1*1卷积,减少通道数。 - 4) 第4条路径使用 3 *3最大汇聚层,然后使用1*1改变通道数。
ResNet 不会存在梯度消失,残差神经网络
使深层次的网络得以训练
DenseNet 消耗多,效果好 稠密神经网络
2.卷积层
学习表征:
3.填充和步骤
4.多输入多输出通道
5.汇聚层
6.卷积神经网络LeNet