1.逻辑回归与线性回归的区别和联系
- 联系:逻辑回归与线性回归都属于广义线性回归模型
- 区别:逻辑回归即可以看做回归算法,也可以看做是分类算法,通常解决分类问题,但只可以解决二分类问题;线性回归Y值是连续变量,值域为[-∞, +∞],逻辑回归p值代表概率,值域为[0,1],Y表示分类变量;损失函数表示不同。
2.逻辑回归的原理
其原理是将样本的特征和样本发生的概率联系起来。
3.逻辑回归损失函数推导及优化
优化方法:
- 共轭梯度法
- BFGS (变尺度法)
- L-BFGS (限制变尺 度法)
4. 正则化与模型评估指标
正则化:
模型评估指标:在数据极度偏斜的情况下,分类准确度存在问题,比如预测癌症,因此只用分类准确度是远远不够的。引入以下指标,