机器学习=模型+策略+算法
一、模型:即规律
模型通常分为决策函数和条件概率分布。
由决策函数表示的模型为非概率模型,由条件概率分布表示的模型为概率模型。
二、策略(判断什么样的模型是好的模型,即损失函数,又叫做目标函数、误差函数)
评估模型的好坏,使用损失函数来进行度量,模型给出的值与实际真实值存在的差别。
三、算法:如何高效找到最优参数
机器学习的算法就是求解最优化问题的算法。如果最优化问题有显示的解析解,这个最优化问题就比较简单,但通常这个解析解不存在,所以就需要利用数值计算的方法来求解。机器学习可以利用已有的最优化算法,也可以开发独自的最优化算法。