1. 基本概念
逻辑回归用于二分类,将对输入的线性表示映射到0和1之间,输出为label为1的概率。
优点:实现代价低,可输出分类概率。适用于数据线性不可分。
缺点:容易欠拟合,分类精度可能不高,且仅限二分类。
使用数据类型:数值型和标称数据。
逻辑回归本质也是线性回归,但是是将线性回归映射到0/1分类上,因此逻辑回归用于分类。
2. 公式推导
单个输入样本为 ,第一项为1是为了直接把截距b加入到权重w矩阵中,方便计算。
为正确的标签类别。共有m个样本。
回归函数:
属于不同类别的概率:
则分类正确的概率:
则对于所有样本,分类正确的最大似然估计为:
取对数: