机器学习之逻辑回归（Logistic Regression）

逻辑回归是工业界使用频率最高也是最受广泛使用的一种机器学习算法，它是基于线性回归在一些分类问题上由于噪音样本的存在使拟合的直线偏离真实的太大的一种改进，将线性函数的值映射到（0,1）区间范围内，也可以完美地将这个模型和概率联系起来，下面开始介绍逻辑回归.

这篇文章主要是将之前整理的笔记再加上一些新的知识整合起来的~~

1.逻辑函数模型（model）

构造思路理解1：线性回归的x和y是通过线性函数连续起来的，x和y在值域R内，而逻辑函数想要将y压缩在（0,1）之间，即引入概率P来解释y，那么p属于（0,1），y属于R，怎么建立连续，在数学上做一些转化，发现log[ p/（1-p）]=y 可以将值域完成从R到（0,1）区间的转化，就有如下图所示的logistic 函数的构造过程了.这里的y是指代线性函数的y

构造思路理解2：看过逻辑函数更详尽解释资料的同学会发现，逻辑回归在数学上是归为广义线性模型的，因为逻辑函数的对数模型是线性的，这里引入一个概念，是几率（概率发生和概率不发生比值的对数），即log[ p/（1-p）]=wx,是线性的，将wx用衔接函数Z表示，即可得到y（或者是p）与x之间的关系.

2.逻辑函数假设（hyohothesis）

逻辑函数可以通过概率解释，非0即1，是一个标准的二分类模型（多分类用到softmax函数），因此用概率的数学表达式可以将其假设空间写成如下图的形式：

</