CS231N 不权威笔记(一)
分值函数(score function)
将原始数据(输入的数据经过预处理)映射每个类对应的分值,分值越高,该类的可能性越大
损失函数(loss function)
表示预测结果和真是类标签之间的差
优化,最小损失函数
通过优化分值函数中的参数权重
数据集
训练集(training dataset),用于训练模型(即训练模型的表达能力)
验证集(validation dataset),用于微调模型的超参数,使模型性能达到最优
测试集(test dataset),测试模型的泛化能力
如果存在一个训练集 X 表示为一个大小为[N,D]的矩阵
N表示样本数量
D表示样本的维数
xi是X中的第i行,即第i个样本
y表示一个向量,大小为[1,N]
yi表示第i个样本的真实类别,yi=1,2,3, …,C
f(xi, W, b) = xiW + b
其中W是权重矩阵,大小为[D,C]
W的第j列表示xi在第j(1≤ j ≤C)个类别上的线性映射
b是偏置向量,大小为[1,C]
f的大小为[N,C]
函数f(xi, W, b) 的值就是C在每个类别上的得分
图片中的结果认为这很可能是一只狗,说明W和b的值没有训练好。