机器学习（吴恩达）3

1.逻辑回归

        定义：只有两个可能输出（y）的分类问题成为二进制分类

        类：no/false/0 negative class        yes/true/1 positive class

        如果采用线性回归算法，当增加更大的点时，线性回归最佳拟合直线会发生变化，之前分界线（决策边界）会右移，影响分类结果

        逻辑回归算法是使用最广泛的分类算法

• sigmoid funciton（激活函数）：

        z是很大的正数时，g=1/近似于1的数，所以g(100)≈1；当z是很小的负数时，g（z）=1/很大的数，g（-100）≈0

        逻辑回归：1：z=w点乘x+b（线性回归）2：把z代入激活函数

        f输出为0.7，y为1的概率是70%

2.决策边界

        决策边界就是z=0，即w点乘x+b=0 非线性的决策边界考虑用多项式，例子z=x12+x22=1，决策边界就是=1

3.逻辑回归的代价函数

        平方误差成本函数不是逻辑回归的理想成本函数，图像时非凸函数，有很多局部最小值

        蓝色圈住的为单个训练例子中的损失

---

        当y=1时，预测值为1时，损失最低

        当y=0时，预测值为0，损失最低接近0

        所以，预测值离得真实值越远，损失越大。最后总体成本函数是凸函数，通过梯度下降可以找到唯一的全局最小值

        简化的成本函数：（太妙了）

4.梯度下降

5.过拟合（overfit）和欠拟合（underfit）

欠拟合：模型在训练集上没有得到足够好的拟合，高偏差 过拟合：训练集上表现很好，在未见过的数据上表现不佳，高方差

解决过拟合：

• 收集足够多的训练数据

• 特征选择：选择合适的特征集（缺点：有用特征可能会丢失）

• 正则化：减少参数大小，参数大小不一定为0（为0就是第二种情况）

6.正则化代价函数

思想：减少参数W1,W2,……Wn的值，不容易出现过拟合

        其中：λ为正则化参数，第一项是平方误差成本函数，用来拟合数据；第二项是正则化，通过设置合适的λ，保持wj比较小，不容易过拟合（m为训练样本的数量，n为特征数量）

        当λ为0，只有第一项没有正则化，过拟合；当λ很大时，需要Wj比较小（接近于0），f=b,欠拟合

• 梯度下降使用正则化线性回归

• 正则化逻辑回归

  成本函数

• 梯度下降：类似于线性函数，函数不一样了