目录
1.卷积神经网络
1.1 什么是卷积
局部关注,滑动窗口
观察方式不一样,是局部相连的方式
权值共享:
卷积操作:
2D卷积:
1.2 卷积神经网络
卷积核就是代表w
padding & Stride
padding就是增加格子,Stride就是步长,看每次移动隔多少格子
多通道输入多通道输入:
Lenet-5
layers.Conv2D:
weight & bias:
nn.conv2d:
下采样:
平均池化和最大池化
上采样:放大
1.3 CIFAR100实战(重要)
可以对着代码敲敲,后面还得做一下!!!
看文件代码:
13层网络:
1.4 其余经典卷积神经网络
LeNet-5
AlexNet:更深的网络层,在比赛中取得很好的成绩,现在已经不怎么样了
VGG11-16-19 : 探索出更小的卷积核心
GoogLeNet:22层
1.5 BatchNorm
参数调整和更加稳定
没懂,啥意思
1.6 深度残差网络-ResNet
1.7 ResNet-18实战
深层次网络退化到浅层网络
代码看文件!!!
2.循环神经网络RNN
2.1 序列表示方法
1个句子,长度为10,用4个单位去表示
词嵌入:1两种方法比较好
net = layers.Embedding(10, 4)
10代表10个这样的单词或地名,4代表地名的长度
2.2 循环神经网络层
折叠模型:
怎样训练?
2.3 RNNCells使用
输入维度,隐藏维度
w,b
多层RNN
实际做的时候用这个:
units:是内部的维度数量
2.4 RNN与情感分类问题实战
看文件代码
2.5 梯度弥散与梯度爆炸
Whh的k次方趋于0,就是梯度弥散
Whh的k次方趋于无穷,就是梯度爆炸
loss慢慢减小,突然变大,就是梯度爆炸
Gradient Clipping:
2.6 LSTM原理
第一道门:Forget gate
输入门:
如何解决梯度弥散:
2.7 LSTM实战
看文件代码!
2.8 GRU原理与实战
将LSTM3个门转换为GRU2个门
3 自编码器Auto-Encoders
3.1 无监督学习
怎么样训练:
以前都是用PCA降维
Auto-Encoders变种
Reparameterization Trick
太复杂:
Variational Auto-Encoders原理 :
3.2 AE实战
看文件代码!
3.3 VAE实战-创建网络
看文件代码!
4 生成对抗网络GAN
怎么样训练:
直觉,生成器和判别器:
纳什均衡-D:
DCGAN:
JS散度的缺陷
梯度弥散:
EM距离:
WGAN-GP原理:
第二种是比较好的:
4.1 GAN实战
数据集:
GAN:
代码看文件!
4.2 WGAN-GP
代码看文件!