3.1 损失函数
定义一个度量,评价任意某一个W表现优劣
损失函数,以W为输入,对比得分,定量评价W的好坏
从W的可行域中,挑选出表现最不差的,漫长的优化过程 极小化
SVM损失函数
安全边际
损失函数:各类别损失函数求值的和的平均数
正则化:鼓励模型选择更简单的w
标准损失函数包括:数据丢失项、正则项(以超参数λ平衡这两项)
正则:减少模型复杂度
softmax损失函数
3.2 优化
优化
slope 梯度下降 (有限差分法–原理)
解析梯度 数值梯度(调试工具-单元测试)
step 步长 学习率(第一个超参数)
随机梯度下降(减少单次计算损耗)
特征提取器 特征计算 颜色直方图、方向梯度直方图、边缘方向直方图