机器学习八股文（1）

来源：Deep-Learning-Interview-Book/docs/机器学习.md at master · amusi/Deep-Learning-Interview-Book · GitHub

部分答案为整理所得，仅供参考~

逻辑回归/对数几率回归（LR）

知识点：

1. 二分类算法，面对一个回归或者分类问题，建立损失函数，通过优化方法迭代求解最优的模型参数，然后测试验证所求模型的好坏。
2. 逻辑回归的本质：极大似然估计
3. 激活函数：Sigmoid（z）=，为什么用sigmoid函数？广义模型推到所得；满足统计的最大熵模型；性质优秀，方便使用（sigmoid函数是平滑的，任意阶可导，一阶二阶导数可以直接有函数值得到不用进行求导）
4. 损失函数：交叉熵，为什么不用均方误差损失？均方误差是一个凸函数，有很多局部最优点，交叉熵曲线光滑，有一个全局最优点

LR可以用核函数吗？

LR能否解决非线性分类问题？

https://www.zhihu.com/question/29385169

可以，需要自己定义一个非线性映射

LR为什么要离散特征？

逻辑回归LR的特征为什么要先离散化_lr特征处理-CSDN博客

计算简单，稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；

离散化后的特征对异常数据有很强的鲁棒性；

逻辑回归属于广义线性模型，表达能力受限，将单个变量离散化为N个后，每个变量具有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合；

离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力；

特征离散化后，模型更稳定。

逻辑回归是处理线性问题还是非线性问题的？

主要解决线性问题，若要解决非线性问题需要自己定义一个非线性映射。

线性回归与逻辑回归（LR）的区别

https://blog.csdn.net/ddydavie/article/details/82668141

线性回归模型中输出一般是连续的，对于每个输入x都有对应的输出y，因此模型的定义域和值域都可以是无穷的。逻辑回归输入可以是连续的，输出一般是离散的，通常只有{0，1}两个值。逻辑回归主要用于二分类问题，损失函数是交叉熵损失函数，线性回归主要用于多分类问题，损失函数是均方误差。