机器学习之逻辑回归(LR)问答

1、逻辑回归相比于线性回归有什么异同？

首先逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者最本质的区别。逻辑回归用来分类0/1问题，也就是二值分类问题。

逻辑回归本质上是线性回归，只是在特征到结果的映射中加入了一层逻辑函数g(z)，也就是特征线性求和，然后使用函数g(z)作为假设函数来预测。
g(z)可以将连续值映射到0-1.为sigmoid function
(1). 拟合函数和预测函数什么关系呢？其实就是将拟合函数做了一个逻辑函数的转换，转换后使得y(i)∈(0,1)；
(2). 最小二乘和最大似然估计可以相互替代吗？回答当然是不行了。我们来看看两者依仗的原理：最大似然估计是计算使得数据出现的可能性最大的参数，依仗的自然是Probability。而最小二乘是计算误差损失。因此两者不可混淆。
(3). 参数估计方法:
线性回归中使用的是最小化平方误差损失函数，对偏离真实值越远的数据惩罚越严重。这样做会有什么问题呢？假如使用线性回归对{0,1}二分类问题做预测，则一个真值为1的样本，其预测值为50，那么将会对其产生很大的惩罚，这也和实际情况不符合，更大的预测值说明为1的可能性越大，而不应该惩罚的越严重。逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为损失函数，对预测错误的惩罚是随着输出的增大，逐渐逼近一个常数，这就不存在上述问题了.

2、 损失函数是什么，如何定义合理的损失函数？为什么用这个损失函数？
首先我们需要了解损失函数的定义是什么：衡量模型预测的好坏 , 也就是用来表现预测与实际数据的差距程度。
官方一点：损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

线性回归的损失函数与逻辑回归的损失函数

表示每一个训练点 (xi,yi)到拟合直线 $y{i}^{=}\theta \cdot xi$的竖直距离的平方和，通过最小化上面的损失函数可以求得拟合直线的最佳参数 θ。这里的损失函数之所以使用平方形式，是使用了“最小二乘法”的思想，这里的“二乘”指的是用平方来度量观测点与估计点的距离（远近），“最小”指的是参数值要保证各个观测点与估计点的距离的平方和达到最小。

逻辑回归的损失函数使用的是对数损失函数，而不是平方损失函数。平方损失函数是线性回归在假设样本满足高斯分布的条件下推导得到的，而逻辑回归假设样本服从伯努力分布（0-1分布）。

具体这里参看书籍机器学习与深度学习算法工程师面试