这篇博客详细解释了多元线性回归中w向量和b如何组合成w^，以及损失函数Ew^的推导过程。通过向量化方法展示了损失函数的“前世今生”，并证明了Ew^为凸函数，讨论了求解最优解w^的条件，加深了对西瓜书相关内容的理解。
在多元线性回归部分，西瓜书的省略实在是太多了，有时候会让读者很无奈。这篇博客便针对这些问题进行详细的解答，希望对大家理解西瓜书有帮助。
在多元线性回归这一章节中，或许是囿于篇幅，西瓜书中（1）没有解释清楚 w w w和 b b b怎么组合成 w ^ 的 \hat{w}的 w^的（注：此处的 w w w和 w ^ \hat{w} w^都是向量，因为这是多元线性回归了）（2）没有解释损失函数 E w ^ E_{\hat{w}} Ew^怎么来的。（3）没有解释为什么 ∂ E w ^ ∂ w ^ = 0 \frac{\partial E_{\hat{w}}}{\partial{\hat{w}}}=0 ∂w^∂Ew^=0时，就有最小值。
1、 w w w向量和 b b b组合成 w ^ \hat{w} w^向量
对于多元的情况，我们可以的到一个回归公式，
f ( x i ) = w T x i + b f(x_i)=w^Tx_i+b f(xi)=wTxi+b，因为 w w w和 x x x都是列向量，所以我们可以将其展开，得到如下的式子。 f ( x i ) = w 1 x i 1 + w 2 x i 2 + ⋯ + w d x i d + b f(x_i)=w_1x_{i1}+w_2x_{i2}+\cdots+w_dx_{id}+b f(xi)=w1xi1+w2xi2+⋯+wdxid+b i代表第几个样本，d代表样本的维度。
令 b = w d + 1 ⋅ 1 b=w_{d+1} \cdot1 b=wd+1⋅1，所以 f ( x i ) f(x_i) f(xi)又可以变成如下的式子：
f ( x i ^ ) = ( w 1 w 2 ⋯ w d w d + 1 ) ⏟ w ^ T ( x i 1 x i 2 ⋮ x i d 1 ) ⏟ x i ^ = w ^ T ⋅ x i ^ f(\hat{x_i})=\underbrace{ \begin{pmatrix}w_1&w_2\cdots&w_d&w_{d+1}\end{pmatrix}}_{\rm \hat{w}^T} \underbrace{ \begin{pmatrix} x_{i1}\\x_{i2}\\\vdots \\ x_{id}\\1\\ \end{pmatrix}} _{\rm \hat{x_i}}=\hat{w}^T\cdot \hat{x_i} f(xi^)=w^T
(w1w2⋯wdwd+1)xi^
⎝⎜⎜⎜⎜⎜⎛xi1xi2⋮xid1⎠⎟⎟⎟⎟⎟⎞=w^T⋅xi^
所以我们这样就表示出了 w ^ \hat{w} w^和 x ^ \hat{x} x^
2、损失函数 E w ^ E_{\hat{w}} Ew^的“前世今生”
损失函数 E w ^ = ∑ i = 1 m ( y i − f ( x i ^ ) ) 2 = ∑ i = 1 m ( y i − w ^ T x i ^ ) 2 E_{\hat{w}}=\sum_{i=1}^{m}(y_i-f(\hat{x_i}))^2=\sum_{i=1}^{m}(y_i-\hat{w}^T\hat{x_i})^2 Ew^=i=1∑m(yi−f(xi^))2=i=1∑m(yi−
最低0.47元/天 解锁文章
扫一扫
1165
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
