计算机视觉和深度学习 学习笔记（二）

计算机视觉和深度学习 学习笔记（二）

全连接神经网络总框图

全连接神经网络******

一、分类模型 ------多层感知机/全连接神经网络

全连接神经网络通过级联多个变换来实现输入到输出的映射
表达方式如下

全连接神经网络中：
W1可看作模板；模板个数人为指定
W2融合这多个模版的匹配结果来实现最终类别打分

全连接神经网络绘制

二、全连接神经网络中的激活函数

网络结构设计
深度设计------用多少个隐藏层
宽度设计------每个隐藏层用多少的神经元合适

小结

三、SOFTMAX操作

将输入到输出映射所得到的分数进行Softmax操作，使得到得分数为总体的概率

四、损失函数-----------交叉熵损失----------暂时不算太懂

通过交叉熵损失去度量分类器输出值和真实值之间的距离

对比上次学的多类支持向量机损失的区别

五、优化算法-计算图和反向传播

计算图：一种有向图，它用来表达输入、输出以及中 间变量之间的计算关系，图中的每个节点对应着一种数学运算
反向传播：在进行前向计算之后进行反向传播，计算过程中设计的梯度。