通过在网易云课堂学习吴恩达先生的《机器学习》课程,为了巩固自己的学习且方便读者们共同交流学习,特此做此学习笔记,希望与大家共勉。
小计:寒假期间,今天去陪女朋友,在地铁上学习了梯度下降法这一部分,晚上回来总结总结~。
一、代价函数J,预测函数H。预测函数中有很多参数,但这些参数对于代价函数就是变量,机器学习的过程说白了就是让我们编写一个软件使得代价函数最小,并且此时的参数值就是最佳参数值。
二、梯度下降法说白了就是一种使得J取最小值的一种算法。它根据导数下降来计算的。
需要记住的就是阿尔法是学习效率,及梯度下降效率,如果学习效率过小,则导致J下降太慢,如果学习效率太大,会导致到不了J最小值,且可能会代价函数越来越大。
下面就是线性回归梯度下降法,其实就是将代价函数与梯度下降结合在一起,如下作图其实就是梯度下降的公式,右图是线性函数,将函数带入,得到如下下图。
两个参数的更新公式如上图所示。
因此,很明显的可以看出代价函数所绘制的等高线图与预测函数图是相对应的,当等高线选取最中心的最低点时,预测函数能够选取最合适的参数。
记于2019.2.1
23:33