4. 线性回顾和逻辑回归

1. 什么是线性回归模型

   1. 线性模型是机器学习中最基础的模型，许多非线性模型就是在线性模型的基础上引入层级结构或者高维映射得到

   2. 线性模型就是试图得到一个通过属性线性组合来进行预测的函数，比如

   3. 如何去学得这个模型呢？

      1. 假定有数据集  ,其中  ,  。

      2. 线性模型学的就是参数 w 和 b, 就会把所有的数据都代入到第一个式子中，得到n个 ，  为了让得到的  和  尽可能的接近，我们需要最小化  的累积和：

2. 线性回归于逻辑回归的关系

   1. 线性回归进行的是回归学习，就是输出值的预测问题。但是如何用来进行分类呢？就是需要找到一个单调可微的函数将分类任务的真实标记与线性回归模型的预测值联系起来就可以了，换句话说就是：用线性回归模型的预测结果去逼近真实标记的对数几率。在逻辑斯蒂回归 中，转化的函数就是

   2. 将y视为样本x作为正例的可能性，将1-y视为其反例的可能性，那么可以有如下

   3. 然后就是进行模型的学习，我们对参数来做极大似然估计：