基于逻辑回归的分类预测 学习笔记

一、逻辑回归简述

逻辑（Logistic）回归是一种二分类算法，虽然叫做“回归”，但是是属于分类算法。本质上是一个广义线性模型。与线性回归不同之处在于输出需要经过sigmoid函数的映射，sigmoid函数是一个函数值在[0,1]之间的函数，若设定阈值为0.3，则若输出大于0.3，记为“1”，反之记为“0”。即达到了二分类的目的。阈值可根据实际情况自行设定。可以看出，逻辑回归的输出可看作是一个二项分布。下面详细介绍其学习规则的推导和损失函数的推导。

1、sigmoid函数

sigmoid函数图像为：

函数表达式为$g(x)=\frac{1}{1+e^x}$。
对每一个样本写出回归模型：${\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n={\theta }^T{X}_1$
代入sigmoid函数即为：$h(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-}{\theta }^{T}x}$

2、通过最大似然函数推导其学习规则

假定样本服从以下二项分布：

y	0	1
p	1-h(x)	h(x)

则联合概率为
$(h(x){)}^y(1-h(x){)}^{1-y}$。
似然函数为
$L(\theta )={\prod }_{}$