课时2-1 模型描述
训练样本标记含义:
训练集通过学习算法输出假设函数,假设函数能够对于输入的x输出相应的y
课时2-2 代价函数
如何选择假设函数的参数呢?
通过最小化代价函数:
课时2-3 代价函数(一)
简化了一下:
假设函数和代价函数的关系图示:
课时2-4 代价函数(二)
上一节只有一个参数,所以假设函数和代价函数的图示简单,比如下图:
如果是两个参数,则代价函数的图为下图所示:
可以用二维等高线来表示上图:
对于难以可视化的图可用软件求得极值
课时2-5 梯度下降
梯度下降过程:
梯度下降图示:
梯度下降法背后数学原理:
同步更新
课时2-6 梯度下降知识点总结
来说明学习率和导数乘起来为什么对学习是有用的
数学知识:导数含义,一点点地挪动x坐标
学习率过大过小的情形:(无法迭代)
假如代价函数已经到最低点了那么它该向哪个方向移动?答案是不动,因为导数为0
当接近局部最低点时,实际上步子也会越来越小,因为导数也会越来越小,即使学习率不变:
课时2-7 线性回归的梯度下降
梯度下降在线性回归的应用,就是具体算算导数写一下式子:
算一下导数:
于是就把梯度下降的式子改写成:
梯度下降有可能进入局部最优,但是线性回归的代价函数一般都是弓形的所以能收敛到全局最优