飞桨AI创造营2期-t4-NN

飞桨AI创造营2期-t4-NN

(Datawhale34期组队学习)

1知识点

• NN基础
  • 全连接网络
  • CNN
• 实战 线性回归

2具体内容

2.1NN基础

1 建立模型

• 选什么样的网络结构
• 选多少层数，每层选多少神经元
  2损失函数
• 常用loss，平方误差，交叉熵
• 总损失最小
  3参数学习
• 梯度下降
  • 停在鞍点
  • 停在局部最优
  • 停在全局最优
• 初始值有影响

4.深度全连接NN

• 参数过多
• 改进：CNN

5.CNN

• 局部连接

• 权重共享

• 下采样（池化）

• 建立CNN模型
  

  • 卷积层
  • 持续卷积feature map
    • 多通道卷积-》n个kernel对应n个feature map
    • Pooling

• loss，交叉熵

• 参数：梯度下降

2.2线性回归

1.线性回归
2.均方loss
3.回归模型
4.解析优化，随机梯度下降
5.自定义多元回归模型

• 生成样本，生成真实标签（正态分布）
• 构建线性回归模型
• 构建优化器和loss

2.3 Softmax分类器

线性回归+softmax运算
Softmax分类器
1.模型表达式

• softmax公式
  
• 信息量
• 信息熵
• 交叉熵

2.4多层感知机

多层感知机

1.模型表达式
2.编写模型

• MLP定义
  • forward：flatten(padding),hidden(隐藏层), relu,output
  • paddle.Model包装
  • model.prepare:Adam, CrossEntropyLoss, Accuracy
  • model.fit:epochs5（训练5次）,batch_size64(loss平均，求和÷64),verbose1（打印训练中间值）

2.5卷积NN

卷积NN
1.LeNet-5模型表达
2.MNist分类
3.Cifar10分类（in_channel=3）彩色图片3通道

2.6其他NN

• AlexNet
• 并联卷积NN-GoogleNet
• 残差网络-ResNet
• MobileNet v1
  • 逐通道卷积
  • 逐点卷积
• 深度可分离卷积
  
  

3参考

https://aistudio.baidu.com/aistudio/projectdetail/3488812