机器学习导论——机器学习三要素

机器学习=模型+策略+算法

一、模型：即规律
模型通常分为决策函数和条件概率分布。
由决策函数表示的模型为非概率模型，由条件概率分布表示的模型为概率模型。

二、策略（判断什么样的模型是好的模型，即损失函数，又叫做目标函数、误差函数）
评估模型的好坏，使用损失函数来进行度量，模型给出的值与实际真实值存在的差别。


三、算法：如何高效找到最优参数
机器学习的算法就是求解最优化问题的算法。如果最优化问题有显示的解析解，这个最优化问题就比较简单，但通常这个解析解不存在，所以就需要利用数值计算的方法来求解。机器学习可以利用已有的最优化算法，也可以开发独自的最优化算法。