梯度下降算法
注:
- :=是赋值的意思
- 右边错误是因为temp1中采用了更新后的θ0,而梯度下降算法中要求的是同时更新;右边是另外一种算法
- α太大,可能会导致不收敛
线性代数知识:
矩阵的加减乘除算法、单位矩阵、逆矩阵运算、矩阵的转置定义相关知识
特征缩放法
目的:加快梯度下降算法的收敛速度。
问题描述:如上左图,如果取值θ1=(0 ,5),θ2=(0,2000),则代价函数的2D图会如左图所示,很狭长,在用梯度下降算法寻找最小值的路线可能是弯弯曲曲,需要废掉很长的时间;
当我将θ1,θ2取值分别除以他的取值长度5,2000后,得到的取值范围再画2D图(