【统计学习方法】||6逻辑回归

【逻辑回归】

逻辑回归模型是对数线性模型的分类模型。（判别模型）

（逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。）

0.伯努利分布

伯努利分布(Bernoulli distribution)又名两点分布或0-1分布，介绍伯努利分布前首先需要引入伯努利试验（Bernoulli trial）。

伯努利试验是只有两种可能结果的单次随机试验，其随机变量X只取0和1两个值，并且相应的概率为：：

伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币是正面向上吗？刚出生的小孩是个女孩吗？等等

如果试验E是一个伯努利试验，将E独立重复地进行n次，则称这一串重复的独立试验为n重伯努利试验。
进行一次伯努利试验，成功(X=1)概率为p(0<=p<=1)，失败(X=0)概率为q=1-p，则称随机变量X服从伯努利分布。伯努利分布是离散型概率分布，其概率质量函数为：

逻辑回归的第一个基本假设是假设数据服从伯努利分布。

1.模型

2.损失函数

逻辑回归的损失函数为什么要使用极大似然函数作为损失函数？

损失函数一般有四种，平方损失函数，对数损失函数&#x