逻辑回归函数学习笔记

继续逻辑回归学习，今日笔记记录。

1、逻辑回归和线性回归的关系：对逻辑回归的概率比取自然对数，则得到的是一个线性函数，推导过程如下。

首先，看逻辑回归的定义

其次，计算两个极端y/(1-y)，其值为（负指数分之一，则负负得正）：

取自然对数后得到等式：

2、考虑具有N个独立变量的向量x,其表现形式为：

设条件慨率P(y=1|x)=p为根据观测量相对于某事件x发生的概率。
假设这个概率分布情况满足逻辑回归函数，则存在：

其中g(x)就是向量X与各个特征之间的关系：

3、结合逻辑回归的矩阵模型公式来看：

这个公式跟2部分的P(y=1|x)的公式是等价的，具体表现在Xθ这个矩阵乘法。

该公式中各部分的含义为：

3.1 θ为分类的模型系数，为N x 1的向量。
3.2 X是M x N的特征矩阵，表示M个样本，每个样本的特征矩阵为Xi=(x1,x2,…xn)，每个样本都有N个独立特征。
3.3 hθ(X)则是一个M x 1的矩阵，表示M个样本的分类结果。
3.4 Xθ，即矩阵乘法，其结果也就是上面说的g(x)的分解。

4、对一组样本X=M x N,则会产生M个分类，对不同的模型系数，计算得到的分类结果，所有分类最准确的模型系数θ就是我们要确认的模型参数。因为样本有N个特征，所以特征系数θ是N x 1的列矩阵。

5、分类为y，具有特征x的条件概率公式为：

这个公式本质上就是对两种分类的概率的一个统一归纳的公式，归纳过程为：

这个公式中将分类值y作为指数，指数要么是0，要么是1。由于之前看的一个教程里面得出这个公式时说是应用二项分布公式，导致我搜了很久资料也没找到这个公式跟二项分布有什么关系。本质也没有特别深奥的地方，更不是二项分布公式的应用。

只看一种资料不足以了解公式，而且搜到的公式可能写法不同，但是结合多方搜索结果，相互补充，竟然也能慢慢明白模型公式。还是一种感觉，恨不能在学数学的时候了解数学在计算机领域的应用啊，果真是少壮不努力老大徒伤悲呐……

参考链接：
1）https://www.cnblogs.com/pinard/p/6029432.html
2）https://blog.csdn.net/AMDS123/article/details/70243497
3）https://blog.csdn.net/lgb_love/article/details/80592147