LR（基础）

L-R特征是否需要归一化

前向看，输出是概率值，概率值的排序不受归一化影响，反向看，参数优化使用的是梯度下降法，如果不对特征进行归一化，可能会使损失函数值的等高线呈椭球形，这样需要较多迭代步，因此归一化是有必要的。

什么样的模型需要归一化

* 需要进行梯度下降的模型
* 有用到样本间距离测度的模型

LR特征为什么需要离散化？

* LR属于广义线性模型，表达能力有限，单变量离散成N个以后，每个变量有单独的权重，相当于为模型引入了非线性，提高模型的表达能力，加大拟合程度。
* 离散特征的增加和减少都很容易，加快收敛速度
* 离散化后的特征对异常数据有很强的鲁棒性
* 简化模型，降低了过拟合的风险
* 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展

LR为什么不用平方损失

​ LR可以使用平方损失，但是sigmoid+交叉熵可以使损失函数是凸优化问题，平方损失就不满足，不能保证局部最优解是全局最优解。

线性回归和LR的区别和联系：

区别：
	线性回归假定服从正态分布，LR服从伯努利分布。
	线性回归优化目标是均方差函数，LR是似然函数。
	线性回归自变量与因变量呈线性关系，LR无要求。
	线性回归解决回归问题，LR解决分类问题。
	两者都使用极大似然估计，线性回归损失函数是均方差，LR是交叉熵。
联系：两者都是广义线性模型

LR为什么不用平方损失函数

	因为平方损失函数权重更新过慢，采用交叉熵损失函数可以完美解决过慢的问题，它具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。
    sigmoid作为激活函数的时候，如果采用均方误差损失函数，那么这是一个非凸优化问题，不宜求解，容易陷入局部最优解。而采用交叉熵损失函数依然是一个凸优化问题，更容易优化求解。

LR可以处理非线性情况吗？

可以，同样可以利用核方法。

LR的参数可以初始化为0吗？

可以。

回归和分类的区别

1. 两者的的预测目标变量类型不同，回归问题是**连续变量**，分类问题**离散变量**。
2. 回归问题是定量问题（预测），分类问题是定性问题（分类）。
3. 回归目标是得到最优拟合；而分类目标是得到决策边界
4. 评价指标不用：回归的评价指标通常是MSE；分类评价指标通常是Accuracy、Precision、Recall

最小二乘法在什么条件下与极大似然估计等价？

当模型估计值和真实值间的残差项服从均值是0的高斯分布时，就有最小二乘估计和最大似然估计等价。

LR和线性回归优缺点

优点

1. 模型简单，原理简单易理解
2. 计算代价不高，易于理解和实现。

缺点：

1. 易过拟合
2. 特征很多的时候，效果不好
3. 处理线性问题效果比较好，而对于更复杂的问题可能束手无策