对简单梯度下降方法的分析总结,有关步长,梯度精度和迭代次数
我们对一组数据进行简单函数拟合时,会用到一种基础方法即梯度下降法
基本原理
- 现在我们有一组数据
x i , y i , z i x_i, y_i, z_i xi,yi,zi
- 这些数据之间的关系为
w 1 ∗ x i + w 2 ∗ y i + b = z i , w 1 , w 2 , b 为 未 知 的 参 数 w_1 * x_i + w_2 * y_i + b = z_i, w_1, w_2, b为未知的参数 w1∗xi+w2∗yi+b=zi,w1,w2,b为未知的参数
他们之间是函数关系Z(x, y)
-
现在我们要从现有的这n组数据中进行分析,最终找到一组符合这组数据的w1, w2, b,一开始我们并不清楚这三个参数
-
首先可以初始化这三个参量都为0,并由此根据现有的x,y值算出我们对于z的预测 A i A_i Ai,设 θ \theta θ为向量(w1, w2)
-
之后对方差函数
J ( θ ) &
-