初级算法梳理（二）

1、逻辑回归与线性回归的联系与区别

为什么使用逻辑回归进行分类：https://blog.csdn.net/lx_ros/article/details/81263209
2、 逻辑回归的原理
逻辑回归是利用回归类似的方法来解决分类问题。假设有一个二分类问题，输出y\in{0,1}，而线性模型（下文将展示这个模型）的的预测值z是实数值，我们希望找到一个阶跃函数将实数z映射为{0,1}，这样我们就能很好的处理分类问题了。那么逻辑回归中是使用什么函数来进行映射的呢？就是sigmoid函数（关于为什么用这个函数请点击这里查看）。

sigmoid函数的图像：

sigmoid函数中的z就是线性函数的z，因为g(z)最后输出的时样本类别的概率值，所以我们可以把阈值设为0.5，g(z)大于等于0.5的看作1，小于0.5的看作0，这样我们就能利用逻辑回归来处理二分类问题了。分类结果就是这样子的。

3、逻辑回归损失函数推导及优化
预测函数：

上面我们已经写出了辑回归的预测函数，所以下一步我们要构造损失函数$J(\theta )$。构造损失函数$J(\theta )$我们可能会先想到模仿线性回归中的平方误差作为损失函数，但是如果使用平方误作损失函数的话我们得到的损失函数就是一个非凸函数，这就意味着损失函数有许多局部最优解，就不能得到全局最优

非凸函数（左）凸函数（右）

那我们就要构造其他的损失函数了。我们再来看问题本身，我们要解决的时二分类问题，函数$h_{\theta }(x)$的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

y（标签）要么取0要么取1，这样就可以把两个类别进行整合，得到一个更直观的表达。

此时P就是某个样本的概率值，我们只要最大化样本的概率就可以得到最好的分类模型了。接下来我们用极大似然函数来求解样本的概率值P

为了简化运算，我们让等式的两边都取对数，对数似然函数为：

这里就是用极大似然估计来求最优的θ。最大似然估计就是求使取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。因为在很多其它的讲解中都是用梯度下降来求解，是因为它们在前加了一个负号,使$J(\theta )=-l(\theta )$，此时就是用梯度下降来求J(θ)了。这里我们使用梯度下降来求解。如果你想用梯度上升求解也没问题。
https://blog.csdn.net/nageaixiaodenanhai/article/details/81592713
高级优化方法：https://blog.csdn.net/whuhan2013/article/details/53454811

4、 正则化与模型评估指标

正则化(Regularization)

过度拟合
如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代 价函数可能几乎为 0),但是可能会不能推广到新的数据。

下图是一个回归问题的例子:

第一个模型是一个线性模型,欠拟合,不能很好地适应我们的训练集;第三个模型是一 个四次方的模型,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看 出,若给出一个新的值使之预测,它将表现的很差,是过拟合,虽然能非常好地适应我们的 训练集但在新输入变量进行预测时可能会效果不好;而中间的模型似乎最合适。

就以多项式理解,x 的次数越高,拟合的越好,但相应的预测的能力就可能变差。 问题是,如果我们发现了过拟合问题,应该如何处理?

1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征,或者使用
   一些模型选择的算法来帮忙(例如 PCA)
2. 正则化。 保留所有的特征,但是减少参数的大小(magnitude)。
   
   
   5、逻辑回归的优缺点

Logistic 回归是一种被人们广泛使用的算法，因为它非常高效，不需要太大的计算量，又通俗易懂，不需要缩放输入特征，不需要任何调整，且很容易调整，并且输出校准好的预测概率。

与线性回归一样，当你去掉与输出变量无关的属性以及相似度高的属性时，logistic 回归效果确实会更好。因此特征处理在 Logistic 和线性回归的性能方面起着重要的作用。

Logistic 回归的另一个优点是它非常容易实现，且训练起来很高效。在研究中，我通常以 Logistic 回归模型作为基准，再尝试使用更复杂的算法。

由于其简单且可快速实现的原因，Logistic 回归也是一个很好的基准，你可以用它来衡量其他更复杂的算法的性能。

它的一个缺点就是我们不能用 logistic 回归来解决非线性问题，因为它的决策面是线性的。我们来看看下面的例子，两个类各有俩实例。

显然，我们不可能在不出错的情况下划出一条直线来区分这两个类。使用简单的决策树是个更好的选择。
Logistic 回归并非最强大的算法之一，它可以很容易地被更为复杂的算法所超越。另一个缺点是它高度依赖正确的数据表示。
这意味着逻辑回归在你已经确定了所有重要的自变量之前还不会成为一个有用的工具。由于其结果是离散的，Logistic 回归只能预测分类结果。它同时也以其容易过拟合而闻名。
http://m.elecfans.com/article/691754.html
6、样本不均衡问题解决办法
https://blog.csdn.net/Candy_GL/article/details/82858471