飞桨AI创造营2期-t4-NN
(Datawhale34期组队学习)
1知识点
- NN基础
- 全连接网络
- CNN
- 实战 线性回归
2具体内容
2.1NN基础
1 建立模型
- 选什么样的网络结构
- 选多少层数,每层选多少神经元
2损失函数 - 常用loss,平方误差,交叉熵
- 总损失最小
3参数学习 - 梯度下降
- 停在鞍点
- 停在局部最优
- 停在全局最优
- 初始值有影响
4.深度全连接NN
- 参数过多
- 改进:CNN
5.CNN
-
局部连接
-
权重共享
-
下采样(池化)
-
建立CNN模型
- 卷积层
- 持续卷积feature map
- 多通道卷积-》n个kernel对应n个feature map
- Pooling
-
loss,交叉熵
-
参数:梯度下降
2.2线性回归
1.线性回归
2.均方loss
3.回归模型
4.解析优化,随机梯度下降
5.自定义多元回归模型
- 生成样本,生成真实标签(正态分布)
- 构建线性回归模型
- 构建优化器和loss
2.3 Softmax分类器
线性回归+softmax运算
Softmax分类器
1.模型表达式
- softmax公式
- 信息量
- 信息熵
- 交叉熵
2.4多层感知机
1.模型表达式
2.编写模型
- MLP定义
- forward:flatten(padding),hidden(隐藏层), relu,output
- paddle.Model包装
- model.prepare:Adam, CrossEntropyLoss, Accuracy
- model.fit:epochs5(训练5次),batch_size64(loss平均,求和÷64),verbose1(打印训练中间值)
2.5卷积NN
卷积NN
1.LeNet-5模型表达
2.MNist分类
3.Cifar10分类(in_channel=3)彩色图片3通道
2.6其他NN
- AlexNet
- 并联卷积NN-GoogleNet
- 残差网络-ResNet
- MobileNet v1
- 逐通道卷积
- 逐点卷积
- 深度可分离卷积
3参考
https://aistudio.baidu.com/aistudio/projectdetail/3488812