2020-08-15

8.14学习笔记

1.基础模型：神经网络

输入层+隐含层+输出层，非线性变换Sigmoid

输出层：单一输出

2.以类的方式组建网络

初始化函数init：定义每层

Forward函数：串联方式

3.配置网络：卷积神经网络

卷积层：局部视野+参数共享

池化层：保留主要特征

4.分类优化目标：

分类任务用均方误差不合适：本质规律使“在某种特征组合下的分类概率”

怎样使模型的输出可以代表标签的概率:softmax函数使所有输出加和为1

对于二分类问题：等价单一输出Sigmoid函数

损失函数：概率输出和分类标签不能直接比较，交叉熵

最大似然思想：最大概率得到观察结果的假设是真的

贝叶斯公式：P(h|D) = P(h)*P(D|h)

5.交叉熵的损失函数

（1）交叉熵损失的实现方法（三点修改）：lable int64，输出对应的标签并用softmax处理，交叉熵计算loss

（2）测试效果:分类的准确率

6.优化算法：

（1）调整学习率

optimizer=fluid.optimizer.SGDOptimizer(learning_rate=?,parameter_list=model.parameters())

（2）主流优化算法的原理和效果

SGD,Momentum,AdaGrad,Adam