动手学深度学习v2课后习题 线性回归 基于pytorch

1.假设我们有一些数据 x1,…,xn∈R 。我们的目标是找到一个常数 b ，使得最小化 ∑i(xi−b)2 。
找到最优值 b 的解析解。
这个问题及其解与正态分布有什么关系?

2推导出使用平方误差的线性回归优化问题的解析解。为了简化问题，可以忽略偏置 b （我们可以通过向 X 添加所有值为1的一列来做到这一点）。
用矩阵和向量表示法写出优化问题（将所有数据视为单个矩阵，将所有目标值视为单个向量）。
计算损失对 w 的梯度。
通过将梯度设为0、求解矩阵方程来找到解析解。
什么时候可能比使用随机梯度下降更好？这种方法何时会失效？

3假定控制附加噪声 ϵ 的噪声模型是指数分布。也就是说， p(ϵ)=12exp(−|ϵ|)
写出模型 −logP(y∣X) 下数据的负对数似然。
你能写出解析解吗？
提出一种随机梯度下降算法来解决这个问题。哪里可能出错？（提示：当我们不断更新参数时，在驻点附近会发生什么情况）你能解决这个问题吗？
不是很会，后面应该还会改改

3.3 可以用huber loss 更好