线性回归与逻辑回归

本文内容主要基于炼数成金机器学习课程+逻辑回归课程。

也可以配合这篇文章（CS229学习笔记）进行学习。

目录

1 回归问题

2 虚拟变量

3 回归诊断

3.1 发现离群值

3.2 判断线性假设是否合理

3.3 误差是否满足独立、等方差、正态分布？

3.4 多重共线性

4 广义线性回归

5 逻辑回归问题

5.1 Sigmoid函数

5.2 损失函数

5.3 梯度下降

---

1 回归问题

分类：一元线性回归；多元线性（用曲面拟合）；广义线性回归（用线性回归方法处理非线性回归问题）；非线性回归

关系：

相关系数：

相关系数的取值范围为[-1,1]，它的绝对值越接近于1，越适合用直线去拟合。

求各点到直线距离之和 -> 求平行于y轴的线段长度的平方和，称为残差和 -> 令残差和最小

求解上图中的二元一次方程组，解为：

2 虚拟变量

虚拟变量其实算不上一种变量类型（比如连续变量、分类变量等），确切地说，是一种将多分类变量转换为二分变量的一种形式。

比如预测体重w，输入的变量由身高h和性别、人种。其中性别（男or女，暂不考虑复杂情况0）、人种（黄or白or黑，暂不考虑混血等复杂情况）不是连续变量。此时的回归模型为：

w