机器学习基础课程学习笔记 6.逻辑回归算法

1. 概率：

1.1 定义 概率§robability: 对一件事情发生的可能性的衡量
1.2 范围 0 <= P <= 1
1.3 计算方法：
1.3.1 根据个人置信
1.3.2 根据历史数据
1.3.3 根据模拟数据
1.4 条件概率：

2. Logistic Regression (逻辑回归)

2.1 例子

我们没法通过一个线性的方程去拟合数据的分布。

2.2 基本模型

测试数据为X(x_0，x_1，x_2···x_n）
要学习的参数为： Θ(θ_0，θ_1，θ_2，···θ_n）

向量表示：

处理二值数据，引入Sigmoid函数使曲线平滑化

2.3 Cost函数

接下来通过梯度下降算法，使得cost函数的函数值最小。

2.4 解法：梯度下降（gradient decent)

2.4过拟合与欠拟合

当测试集模型分数很低时，我们就说模型欠拟合了训练样本，这时候需要增加方程的多项式来改善。
但训练集模型分数很高，而交叉验证集分数比较低时，说明模型过拟合了训练样本，可以通过正则化来解决。

通过学习曲线观察到如果测试集训练分数与验证集训练分数相差过大，说明数据量不够，需要增加数据量。

2.5算法参数