深度学习-BP神经网络基本原理

• 神经网络的本质实质是学习的能力

• 神经网络主要能应用于: classification、retrieval、detection、Segmentation、Image translation、image transfer、等等

• 图像分类是计算机视觉的核心任务、但自然界种各种因素对其分类效果造成了一定挑战

• 如：角度、光照强度、形状改变、遮蔽、相似背景、尺度、部分等等

• 神经网络的常规使用套路：

• 1.收集数据并给定标签

•  

• 2.训练一个分类器

•  

• 3.测试，评估

• 

• 首先从线性分类来看神经网络.

•  

• f(x,W) 为每张图的得分函数

• 

• 实例：得分值高的即为预测对象 下图明显预测错误

• 

• 损失函数： yi 是正确类别标签得分值 1为容忍度 可以自行设定

• 实例如下

• 

• 

• 

• 最终损失函数

• 

• softmax 分类器 取指数 归一化  然后取-的对数 

• 

• 

• hinge loss 不会像神经网络一样不断追求最好 比如 10(正确类别得分) 9 9  loss 为0

• 

• 反向传播计算的简单实例 反向梯度下降

• 

• 

• 

• 

• NXD  DXH1 H1XH2 H2XCLASS

• 

• RELU

• 

• 归一化 drop-out 交叉验证 正则化  激活函数等等问题需要考虑