深度学习，线性神经网络-卷积（现代卷积网络）

1.从全连接到卷积

1.1.1现代卷积网络

🌟AlexNet 双数据流通道

AlexNet比LetNet要深.

AlexNet由八层组成：五个卷积层，两个全连接隐藏层和一个全连接输出层

2) AlexNet使用ReLU而不是sigmaid作为其激活函数

dropout...

tf_random. set_seed(0)

layer = tf.keras.layers.Dropout(.2,input_shape=(2，))

data = p.arange(18).reshape (5, 2) .astype(np_float32)

print(data)

 

 

🌟VGG

  

🌟NiN网中网

 🌟GoogleNet 含并行 ，不同维度卷积层

使用不同大小卷积核

• 特点

1吸收了NiN中串联网络的思想。

给出了一个观点：使用不同大小的卷积核组合是有利的。

• 基本的卷积块是Inception block

• Inception:
  1） 由4条井行路径组成。
  2）前三条路径使用使用窗口大小为1*1，3*3，5*5的卷积层。
  3） 中间的2条路径在输入上执行1*1卷积，减少通道数。
• 4) 第4条路径使用 3 *3最大汇聚层，然后使用1*1改变通道数。 

ResNet 不会存在梯度消失，残差神经网络

 使深层次的网络得以训练

DenseNet 消耗多，效果好 稠密神经网络

  

2.卷积层

学习表征：

3.填充和步骤

4.多输入多输出通道

5.汇聚层

6.卷积神经网络LeNet