深度学习—Tensorflow2.0-2

目录

1.卷积神经网络

1.1 什么是卷积

1.2 卷积神经网络

1.3 CIFAR100实战（重要）

1.4 其余经典卷积神经网络

1.5 BatchNorm

 

1.6 深度残差网络-ResNet

1.7 ResNet-18实战

2.循环神经网络RNN

2.1 序列表示方法

2.2 循环神经网络层

2.3 RNNCells使用

2.4 RNN与情感分类问题实战

2.5 梯度弥散与梯度爆炸

2.6 LSTM原理

2.7 LSTM实战

2.8 GRU原理与实战

3 自编码器Auto-Encoders

3.1 无监督学习

3.2 AE实战

3.3 VAE实战-创建网络

4 生成对抗网络GAN

4.1 GAN实战

4.2 WGAN-GP

---

 

 

1.卷积神经网络

1.1 什么是卷积

局部关注，滑动窗口

观察方式不一样，是局部相连的方式

权值共享：

卷积操作：

2D卷积：

1.2 卷积神经网络

卷积核就是代表w

padding & Stride

padding就是增加格子，Stride就是步长，看每次移动隔多少格子

多通道输入多通道输入：

Lenet-5

layers.Conv2D：

weight & bias：

nn.conv2d:

 下采样：

平均池化和最大池化

上采样：放大

1.3 CIFAR100实战（重要）

可以对着代码敲敲，后面还得做一下！！！

看文件代码：

13层网络：

1.4 其余经典卷积神经网络

LeNet-5

AlexNet：更深的网络层，在比赛中取得很好的成绩，现在已经不怎么样了

 

VGG11-16-19   ： 探索出更小的卷积核心

 

GoogLeNet：22层

 

1.5 BatchNorm

参数调整和更加稳定

没懂，啥意思

 

1.6 深度残差网络-ResNet

1.7 ResNet-18实战

深层次网络退化到浅层网络

代码看文件！！！

2.循环神经网络RNN

2.1 序列表示方法

1个句子，长度为10，用4个单位去表示

词嵌入：1两种方法比较好

net = layers.Embedding(10, 4)

10代表10个这样的单词或地名，4代表地名的长度

2.2 循环神经网络层

折叠模型：

怎样训练？

2.3 RNNCells使用

输入维度，隐藏维度

w，b

多层RNN

实际做的时候用这个：

units：是内部的维度数量

2.4 RNN与情感分类问题实战

看文件代码

 

2.5 梯度弥散与梯度爆炸

Whh的k次方趋于0，就是梯度弥散

Whh的k次方趋于无穷，就是梯度爆炸

loss慢慢减小，突然变大，就是梯度爆炸 

Gradient Clipping：

2.6 LSTM原理

第一道门：Forget gate

输入门：

如何解决梯度弥散：

2.7 LSTM实战

看文件代码！

 

2.8 GRU原理与实战

将LSTM3个门转换为GRU2个门

3 自编码器Auto-Encoders

3.1 无监督学习

怎么样训练：

以前都是用PCA降维

Auto-Encoders变种

Reparameterization Trick

太复杂：

Variational Auto-Encoders原理 ：

3.2 AE实战

看文件代码！

3.3 VAE实战-创建网络

看文件代码！

4 生成对抗网络GAN

怎么样训练：

直觉，生成器和判别器：

纳什均衡-D：

DCGAN：

JS散度的缺陷

梯度弥散：

EM距离：

WGAN-GP原理：

第二种是比较好的：

4.1 GAN实战

数据集：

GAN:

代码看文件！

4.2 WGAN-GP

代码看文件！