本周我给自己定的学习目标有很大程度上的降低,所以基本都算完成。
关于深度学习,本周主要学习了多变量线性回归。
多功能
对于一个要度量的对象,一般来说会有不同维度的多个特征。比如房屋价格预测,除了房屋的面积大小,可能还有房屋的年限、房屋的层数等等其他特征。所以引入一个列表求参数。引入一些新的记号。
多元梯度下降法
多变量代价函数类似于单变量代价函数。
对偏导数的应用
计算时需要同时更新所有参数。
梯度下降实践1-特征值缩放
各特征值的范围不一,可能会影响代价函数收敛速度。
左图是以原始数据绘制的代价函数轮廓图,右图为采用特征缩放后的图像。左图中呈现的图像较扁,相对于使用特征缩放方法的右图,梯度下降算法需要更多次的迭代。
为了优化梯度下降的收敛速度,采用特征缩放的技巧,使各特征值的范围尽量一致。
均值归一化,对所有特征值统一缩放
梯度下降实践2-学习速率
通常,有两种方法来确定函数是否收敛
1.多次迭代收敛法
无法确定需要多少次迭代
较易绘制关于迭代次数的图像
根据图像易预测所需的迭代次数
2.自动化测试收敛法(比较阈值)
不易选取阈值
代价函数近乎直线时无法确定收敛情况
对于梯度下降,一般采用多次迭代收敛法来得出最小化代价函数的参数值。
学习率过大,代价函数无法收敛,学习率过小,代价函数收敛的太慢。所以需要找到一个合适的学习速率。需要不断调整。
特征和多项式回归
线性回归只能以直线来对数据进行拟合,有时候需要使用曲线来对数据进行拟合,即多项式回归。
有必要进行特征缩放
论文看了一部分,能翻译下来,但需要再理解。