文章目录 前言一、图像表示二、分类模型1.全连接网络的权值2.全连接网络与线性不可分3.全连接神经网络绘制与命名4.激活函数 三、损失函数1.Softmax2.交叉熵3.与多类支持向量机的对比 四、优化算法1.计算图与反向传播2.再看激活函数3.动量法与自适应梯度 五、训练过程1.权值初始化2.批归一化(BN) 前言 有了上一章线性分类器的基础,下面开始学习全连接神经网络,这是线性分类器的进阶版,本节介绍的多种方法在以后的工作中也会经常使用,是CNN的基础。 本章导图: 一、图像表示 二、分类模型 1.全连接网络的权值 2.全连接网络与线性不可分 3.全连接神经网络绘制与命名 4.激活函数 三、损失函数 1.Softmax 2.交叉熵 3.与多类支持向量机的对比 四、优化算法 1.计算图与反向传播 2.再看激活函数 3.动量法与自适应梯度 五、训练过程 1.权值初始化 2.批归一化(BN)