文章目录
线性回归(Linear Regression,LR)
对于m个样本 X = [ x 1 , x 2 ⋯ x n ] T X=[x_{1},x_{2}\cdots x_{n}]^{T} X=[x1,x2⋯xn]T，用参数 Θ = [ θ 1 , θ 2 ⋯ θ n ] T \Theta =[\theta _{1},\theta _{2}\cdots \theta _{n}]^{T} Θ=[θ1,θ2⋯θn]T进行估计，记为
h θ ( x ) = Θ T X = θ 0 x 0 + θ 1 x 1 + ⋯ θ n x n （ 为 表 示 方 便 令 x 0 = 1 。 ） h_{\theta }(x)=\Theta ^{T}X=\theta _{0}x_{0}+\theta _{1}x_{1}+\cdots \theta _{n}x_{n}（为表示方便令x_{0}=1。） hθ(x)=ΘTX=θ0x0+θ1x1+⋯θnxn（为表示方便令x0=1。）定义损失函数
J ( θ ) = 1 2 ∑ i = 1 m ( h θ ( x i ) − y i ) 2 J(\theta )=\frac{1}{2}\sum_{i=1}^{m}(h_{\theta }(x^{i})-y^{i})^{2} J(θ)=21i=1∑m(hθ(xi)−yi)2
目标为最小化损失函数 J ( θ ) J(\theta ) J(θ)，可使用梯度下降法或者最小二乘法。
- 梯度下降法
求 J ( θ ) J(\theta) J(θ)相对于 θ \theta θ的梯度 ∂ J ( θ ) ∂ θ j = ( h θ ( x i ) − y i ) x j i \frac{\partial J(\theta )}{\partial \theta _{j}}=(h_{\theta }(x^{i})-y^{i})x^{i}_{j} ∂θj∂J(θ)=(hθ(xi)−yi)xji，这里上标i表示第i个样本，下标j表示样本的第j个特征。在梯度的负方向上更新 θ \theta θ，即
θ j : = θ j − α ∂ J ( θ ) ∂ θ j = θ j + α ( y i − h θ ( x i ) ) x j i \theta _{j}:=\theta _{j}-\alpha \frac{\partial J(\theta )}{\partial \theta _{j}}=\theta _{j}+\alpha(y^{i}-h_{\theta }(x^{i}))x^{i}_{j} θj:=θj−α∂θj∂J(θ)=θj+α(yi−hθ(xi))xji - 最小二乘法
将样本整体表示为矩阵X，结果表示为向量 y → \overrightarrow{y} y，则参数 θ \theta θ可由下式求得
θ = ( X T X ) − 1 X T y → \theta =(X^{T}X)^{-1}X^{T}\overrightarrow{y} θ=(XTX)−1XT
最低0.47元/天 解锁文章
1607
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
