机器学习基本概念[持续补充]

损失函数（loss function）与代价函数（cost function）等价，是一个意思: 用来度量一次预测错误的程度.

比如常用的0-1损失函数，平方损失函数，绝对损失函数，对数损失函数（即对数似然损失函数）.

目标函数（object function）与风险函数等价，是一个意思: 度量平均意义下模型的好坏，如期望损失（损失函数的期望）或经验损失（训练集的平均损失）或结构风险（在经验风险上加上表示模型复杂度的正则化项或惩罚）.

模型：所要学习的条件概率分布或决策函数.

策略：按照什么样的准则学习或选择最优的模型.

算法：指学习模型的具体计算方法. 统计学习基于训练数据集，根据学习策略，从假设空间中选择最优化模型，最后需要考虑用什么样的计算方法求解最优化模型.

 

参考：

李航，统计学习方法.