线性回归和逻辑回归的证明梳理与对比复习回顾

线性回归和逻辑回归的证明梳理与对比复习回顾

主要是记录两个回归模型的一些证明过程（取自网络，若侵权请联系删除），不做公式的详细解释和原理说明，仅仅做个对比以便自己复习回顾。

---

线性回归

顾名思义是用直线来拟合模型预测新值，是一个回归问题。一般通过已知的线性数据模型来构建合适的模型预测“新的数据”，常见应用场景有商店的进货量、房子价格的预测等等。下面是黄海广团队整理的吴恩达老师的部分笔记截图，主要回顾了代价函数。

小tips：为什么要取1/2m
取2m而不是m的原因时为了方面求导后方便可以把系数抵消掉，其实取其他如3m或4m我觉得都可以，只不过最后求导出来的式子前面就有一个系数而已。

---

下面给出代价函数代码求导过程证明

同时需要特别注意的是在梯度下降时要同步更新参数

---

逻辑回归

其实我觉得这个名字会让人有很大的误解，逻辑两个词也让人雨里雾里的，其实逻辑回归不是传统的回归模型，它是个二分类模型，也就是解决二元的分类问题，实质上是一个分类器。

你会发现逻辑回归的式子和线性回归的式子十分相似，最主要的区别就是cost function的变化，主要是若仍采用线性回归的cost function就会导致带入非线性函数时得到的代价函数将是一个非凸函数，有许多局部最小值，影响梯度下降算法。

下面仍然回顾一下代价函数

下面是求偏导的证明过程

小tips：虽然逻辑回归和线性回归的梯度下降算法的公式十分相似，但逻辑回归的h(x)用的是sigmoid的非线性元素，而线性回归用的是线性方程，注意区分。