统计与机器学习的比较

最新推荐文章于 2021-02-14 21:37:00 发布

转行的炼丹师

最新推荐文章于 2021-02-14 21:37:00 发布

阅读量229

点赞数

分类专栏：机器学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/jose_M/article/details/105553401

版权

6 篇文章 0 订阅

订阅专栏

本文主要是根据上交的《统计计算与机器学习》课程的内容记录的课程笔记

统计与机器学习的区别

统计是有带模型的假设，假设数据满足某一种模型或者某一种分布，计算得到参数（model-based）
机器学习是不管数据是什么样子，在函数空间内去拟合参数（model-free）
以线性回归为例
数据集 $\{ (x_i, y_i) \}^{i=n}_{i=1}$ ，我们最后希望通过线性回归得到 $Y = X a$ ，其中Y是 $\left[ \begin{matrix} y_1 \\ y_2\\y_3\\ \vdots \\y_n\end{matrix}\right]$ ，X是 $\left[ \begin{matrix} x_1&1\\x_2&1\\x_3&1\\\vdots\\x_n&1\end{matrix} \right]$ 。
按照统计学的思想，此时的回归系数 $a$ 根据最小二乘法， $a=(X^TX)^{-1}X^TY$ ，但是这种做法work(得到的 $a$ 是无偏估计，就是真实的 $a$ )的时候是需要满足一些假设，假设如下
（1） $(X, Y)$ 是从 $Y=Xa+\epsilon$ 采样得到
（2） $X^TX)$ 可逆
（3） $E(\epsilon)=0$ ， $var(\epsilon)=\sigma^2I$
而对于机器学习来说，我们的函数空间是 $Y = X a + b$ ，根据最小化 $m s e$ 的目标利用梯度下降去学习得到参数 $a$ ，没有任何假设。
$\frac{1}{n}\Sigma_{i=1}^n(y_{predict_i} - y_{true_i})^2$
$\frac{\partial{L}}{\partial{a}} = \frac{2}{n}\Sigma_{i=1}^{n}{(y_{predict_i} - y_{true_i})*x_i}$
$a^{t+1} = a^{t}- \eta\frac{\partial{L}}{\partial{a}}$

参考资料：
上交《统计计算与机器学习》2020课程

关注

专栏目录