动手学深度学习pytorch版练习解答—3.1线性回归

最新推荐文章于 2024-07-06 15:38:54 发布

Innocent^_^

最新推荐文章于 2024-07-06 15:38:54 发布

阅读量1.8k

点赞数 13

文章标签：深度学习 pytorch 线性回归

本文链接：https://blog.csdn.net/qq_43853021/article/details/122445047

版权

第一问和第三问最后一小题都是开放性题目，有很多角度去思考和回答。希望我的这份参考能为您的学习带来帮助，您的指正对我而言也是大有裨益。

假设我们有⼀些数据x1, . . . , xn ∈ R。我们的⽬标是找到⼀个常数b，使得最小化 $\sum_{i}(x_i-b)^2$
（1）找到最优值b的解析解。
（2）这个问题及其解与正态分布有什么关系?
2. 推导出使⽤平⽅误差的线性回归优化问题的解析解。为了简化问题，可以忽略偏置b（我们可以通过向X添加所有值为1的⼀列来做到这⼀点）。
（1）⽤矩阵和向量表⽰法写出优化问题（将所有数据视为单个矩阵，将所有⽬标值视为单个向量）
（2）计算损失对w的梯度。
（3）通过将梯度设为0、求解矩阵⽅程来找到解析解。
（4）什么时候可能⽐使⽤随机梯度下降更好？这种⽅法何时会失效？
3. 假定控制附加噪声ϵ的噪声模型是指数分布。也就是说， $p(\epsilon)=\frac{1}{2}exp(-|\epsilon|)$

$\qquad$ （1）写出模型 $- l o g P (y ∣ X)$ 下数据的负对数似然

$\qquad$ 解：设 $w=(b,w_1,\dots,w_n),x_i=(1,x_{i1},\dots,x_{in})$ 。

则 $P(y_i|x_i)=\frac{1}{2}e^{-|y_i-wx_i|} \Rightarrow -log\prod_{i=1}^{n}P(y_i|x_i) = -\sum_{i=1}^{n}log\frac{1}{2}e^{-|y_i-wx_i|}$

$\qquad \quad \ \, = -\sum_{i=1}^{n}(-|y_i-wx_i|+log\frac{1}{2})=nlog2+\sum_{i=1}^{n}|y_i-wx_i|$

$\qquad$ （2）你能写出解析解吗？

$\qquad$ 解：优化目标是最小化 $-logP(\textbf{y}|\textbf{X})$ ，也就是上面的结果，关于w的只有后面带绝对值那个，所以需要绝对值那里一堆为0就是解析解了，即： $-\sum_{i=1}^{n}|y_i-wx_i|=-\sum_{i=1}^{n}(y_i-wx_i)=0$

如果y是关于x的一元函数，那么上面 $w=\frac{y_1+y_2+\dots+y_n}{x_1+x_2+\dots+x_n}$ 。若为多元函数，需要写成 $-\sum_{i=1}^{n}(y_i-w^Tx_i)=0$ ，则要求解 $Y-w^TX=0$ ，从而我们得到 $w=(YX^{-1})^T$

$\qquad$ （3）提出⼀种随机梯度下降算法来解决这个问题。哪⾥可能出错？（提⽰：当我们不断更新参数时，在驻点附近会发⽣什么情况）你能解决这个问题吗？

$\qquad$ 解：这个函数在零点不可导。而且在零点附近，这个是L1-loss，求导后结果为 $w$ ，可能会对应loss很小但梯度太大，这样就容易发生振荡，不好收敛。可以考虑把优化目标换为smoothL1-loss（参考自书中论坛“Yang_Liu”用户于10月21日的回答）

Innocent^_^

关注

13
点赞
踩
15

收藏

觉得还不错? 一键收藏
4
评论
动手学深度学习pytorch版练习解答—3.1线性回归

第一问和第三问最后一小题都是开放性题目，有很多角度去思考和回答。希望我的这份参考能为您的学习带来帮助，您的指正对我而言也是大有裨益。假设我们有⼀些数据x1, . . . , xn ∈ R。我们的⽬标是找到⼀个常数b，使得最小化∑i(xi−b)2\sum_{i}(x_i-b)^2∑i(xi−b)2（1）找到最优值b的解析解。（2）这个问题及其解与正态分布有什么关系?2. 推导出使⽤平⽅误差的线性回归优化问题的解析解。为了简化问题，可以忽略偏置b（我们可以通过向X添加所有值为1的⼀列来做到这⼀点）
复制链接

扫一扫