最小二乘法就是让均方误差最小。 下面是损失函数转换为矩阵方式的详解 如何让其最小,在导数为0的地方取极小值。 问:导数为0的地方可能去极大值,也可能是极小值,凭什么说导数为0就是极小值? 答:因为使用的是均方误差,他是一个凹函数,导数为0的点即为最小值和极小值。 建议学习一下线性代数 先看这个例子,怕有的人看不懂之后咋来的。 以此类推: 上述式子中共有4项,最后一项不含θ ,所以求导为0,其余前三项求导,下面将给出矩阵的求导方式。 因为x是我们的数据,θ 才是我们要的参数,所以对θ 求θ 导。 由此别得到最优解。