机器学习-逻辑回归

逻辑回归也称为logistic回归分析，其主要解决的是分类问题，属于监督学习，其推导过程与梯度下降和线性回归类似，损失函数与线性回归不同，用到了log（对数）函数。下图中g（z）称为sigmoid函数，z就是我们上一个所说的线性回归模型。

1.逻辑回归模型

2.决策边界

线性回归模型z=0就是逻辑回归模型的决策边界，对于多元线性回归同样可以转化为向量的形式，但是我们无法可视化展示。

3.逻辑回归中的代价（损失）函数

均方误差虽然适合作为线性回归的损失函数，但其不适合作为逻辑回归的损失函数，因为在逻辑回归中由于sigmoid函数存在，均方误差会出现较多的局部最小值，梯度下降法无法找到全局最小值，这将非常影响我们训练模型，出现欠拟合的情况。

所以我们选用对数函数作为逻辑回归的损失函数，由于逻辑回归输出的结果在0~1之间，预测值越接近真实值，其损失就越小，反之，损失就越大，下图就很清楚的解释了这一点，我们还可以对其简化。

简化后的损失函数

4.梯度下降

逻辑回归损失函数梯度下降法与线性回归类似，通过迭代不断更新w，b的值。
 

5.过拟合问题

过拟合就是我们训练的模型在训练集上表现的非常好，但是在测试集上表现的就很差，具有高方差，我们也把这种叫做泛化能力弱的模型。欠拟合就是在训练集和测试集上表现的都不好，具有高偏差。我们需要的是一个泛化能力强的模型，对于一些没见的数据也能预测的非常好。

6.如何解决过拟合

尽可能多的收集数据。                                                                       进行特征选择，或者使用PCA降维，少的特征可以避免过拟合发生            加入正则化参数，正则化可以降低较大参数对模型的影响          

7.正则化

我们在损失函数中加入正则化参数，对于参数选择，如果lanmuda过大，其可能拟合为一条直线b，如果lanmuda过小，就相当于没有添加正则化参数，将正则化参数带入损失函数中：

8.极大似然估计

极大似然估计：是通过已知的结果反

目录

1.逻辑回归模型

2.决策边界

3.逻辑回归中的代价（损失）函数

4.梯度下降

5.过拟合问题

6.如何解决过拟合

7.正则化

8.极大似然估计

---

推处导致最大结果的参数，而极大似然估计是概率论在统计学中的应用，它提供了一种给定观察数据来评估模型参数的方法，即“模型已确定，参数未确定”，通过若干次实验观察，利用实验的某个参数使得样本出现的概率最大，称为极大似然轨迹。