关于数据
特征空间
原来图像特征的表示也可以理解为 BOW(bag of words)
博文:机器学习中的特征空间
原 PPT 资源:点击
关于算法模型
为什么需要假设?因为实际不存在完美的预测模型。
最小二乘法 是线性模型的通用优化方法,
梯度下降只不过是其中一种,为了解决求解不了方程的时候(高维的线性模型甚至非线性模型,目标函数往往并不是全局凸函数,因此不能继续使用导数为零的方式进行最优解求解)
过拟合的问题本质上是方程组的解有无穷多个,而算法模型选择了其中较为复杂的一种。
根据奥卡姆剃刀原理,越简单的模型在未知的样本上的泛化能力越好。
SVM解决了线性模型解决不了的,当m<n时候的情况,
当随机噪声服从正态分布时,最小二乘与最大似然等价。
损失函数(与距离度量)
为了解决基于原始输入样本数据构成的线性方程组无解的问题,我们引入了损失函数,之后问题转换为了求解损失函数的参数解。