机器学习第二篇：逻辑回归

逻辑回归（Logistic Regression）

本质上讲，机器学习就是一个模型对外界的刺激（训练样本）做出反映，趋利避害（评价标准）。

目录

1、 逻辑回归的原理
2、逻辑回归与线性回归的联系与区别
3、逻辑回归损失函数推导及优化
4、 正则化与模型评估指标
5、逻辑回归的优缺点
6、样本不均衡问题解决办法
7. Sklearn参数浅析

逻辑回归原理？

逻辑回归是一种有监督的统计学习方法，主要是对样本进行分类。
逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。

逻辑回归与线性回归的联系与区别？

区别：

线性回归的输出连续的，即对于每输入的一个x，都有对应的一个y输出，模型的定义域和值域都可以是【−∞，+∞】，但是对于逻辑回归，输入可以是连续的【−∞，+∞】，但是输出一般是离散的，即只有有限个输出值。例如，其值域可以是只有两个值{0，1}，这两个值可以表示对样本的某种分类，高/低，患病/健康等等，这就是常见的二分类逻辑回归。因此，从总体上说，通过逻辑回归，我们将在整个实数范围映射到有限个点上，这样就实现了对x的分类，因为每次拿过来一个x，经过逻辑回归分析，就可以将他归为某一类中。

联系：

逻辑回归也被称为广义线性回归模型，他与线性回归模型的形式基本上相同，都具有(ax+b)，其中a和b都是待求参数，其区别在于他们的因变量不同，多重线性回归直接将ax+b作为因变量，即y=ax+b，而逻辑回归则通过函数S将ax+b对应到一个隐状态p，p=S(ax+b),然后根据p与（1-p）的大小决定因变量的值。这里的函数S是Sigmoid函数。

S函数分析，通过S函