逻辑回归.

逻辑回归

逻辑回归模型是一种分类模型,其形式为:

逻辑回归是在线性回归的基础上添加了sigmoid函数,将回归问题变为分类问题,sigmoid函数的输出区间为[0, 1], 假设阈值为0.5,那么模型输出大于0.5的归为1类,小于0.5的归为0类.

sigmoid函数的公式如下:

损失函数:
用于逻辑回归的损失函数有两种:对数似然函数和交叉熵函数(二者是一致的)
对数似然函数:

逻辑回归

逻辑回归假设数据服从伯努利分布,利用极大化似然函数的方法,并运用梯度下降法求解参数,来达到数据二分类的目的.
逻辑回归假设
假设一: 数据服从伯努利分布(0-1分布)(二分类)
假设二: 样本输出概率,利用sigmoid函数计算.

代码

from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(x_train, y_train)