梯度下降法的多变量线性回归
理论概述
-
线性回归方程
单变量线性回归只包含一个变量 x x x，其线性回归方程可表示为 h ( θ ) = θ 0 + θ 1 x 1 h(\theta)=\theta_0+\theta_1x_1 h(θ)=θ0+θ1x1。
当模型包含多个变量时，线性回归方程： h ( θ ) = θ 0 + θ 1 x 1 + ⋯ + θ n x n h(\theta)=\theta_0+\theta_1x_1+\dots+\theta_nx_n h(θ)=θ0+θ1x1+⋯+θnxn，可假设 x 0 = 1 x_0=1 x0=1，此时方程可表示成 h ( θ ) = θ 0 x 0 + θ 1 x 1 + ⋯ + θ n x n = ∑ i = 0 i = n θ i x i h(\theta)=\theta_0x_0+\theta_1x_1+\dots+\theta_nx_n=\sum_{i=0}^{i=n} \theta_ix_i h(θ)=θ0x0+θ1x1+⋯+θnxn=∑i=0i=nθixi。
-
目标（代价）函数
-
批量梯度下降(BGD)：每一次迭代时使用所有样本来进行梯度的更新
J ( θ 0 , θ 1 , … , θ n ) = 1 2 m ∑ i = 1 i = m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\theta_0,\theta_1,\dots,\theta_n)=\frac{1}{2m}\sum_{i=1}^{i=m}(h_\theta(x^{(i)})-y^{(i)})^2 J(θ0,θ1,…,θn)=2m1∑i=1i=m(hθ(x(i))−y(i))2
-
目标函数对 θ i \theta_i θi求偏导
∂ J ( θ 0 , θ 1 , … , θ n ) ∂ θ j = 1 m ∑ i = 1 i = m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \frac{\partial J(\theta_0,\theta_1,\dots,\theta_n)}{\partial\theta_j}=\frac{1}{m}\sum_{i=1}^{i=m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)} ∂θj∂J(
-
最低0.47元/天 解锁文章
103
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
