小白学数据,只为记录学习进程,对每个问题有新的理解会及时更正。
逻辑回归虽然叫回归,其实是一个0,1分类问题。相比于其他的分类,逻辑回归嵌套了一个sigmod函数,使得分类有了对应的概率。
sigmod函数:
其中z是线性回归的模型:
这样便得到了一个值域是(0,1)的模型。
建立这个模型的任务便是训练出线性模型(z)中的各个未知参数
s
i
g
m
a
sigma
sigma。这里使用极大似然函数来作为损失函数(为什么不使用平方损失函数,因为使用平方损失函数得到的目标函数不是凸函数,在后续求解最小值的过程中,得到的结果不是全局的最小值,是局部的最小解,所以这里使用极大似然函数作为损失函数)。
得到目标函数后,正常使用梯度下降法来得出位置参数
s
i
g
m
a
sigma
sigma。
逻辑回归的使用场景:
1.主要用作0,1分类问题
2.不要求自变量和因变量是线性关系。
优点:
1.很成熟的算法,预测比较准确
2.训练的参数很明了,可以从参数中直观的感受出属性的重要程度
3.训练结果是概率值,可以有更进一步的力度把握
4.训练快
缺点:
1.对多分类无能为力
2.如果属性之间存在相关性(多重共线性),训练起来比较敏感,此时需要选出具有代表性的属性
3.因为sigmod函数呈S型,所以对两边的数据不敏感,对中间的数据敏感,所以使得某些区间的数据对最终结果的影响力没有区分,无法确定0,1阈值。