机器学习4：逻辑回归与线性回归

逻辑回归与线性回归求解过程：

总体来说，回归过程都分三步：

1、Model

2、Loss Fuction

3、Gradient Decent

分析：

1、Model：线性回归中，模型为线性方程，取值范围无穷大；逻辑回归中，通过sigmod函数函数将线性方程z转化成概率（见上一篇博客）。

2、Loss Function：线性回归损失函数由均方差来衡量；逻辑回归由交叉熵衡量。

逻辑回归的Loss Function由Training Data来决定，模型需确保Training Data分类正确率最大，假设Training Data为

，则概率表示为

求上述概率公式最大化即可得到模型参数。这里做一个转化，将函数稍作变化，转化为对数形式且取负号：

，变成求最小值。

则Loss function表示为（其中将样本分类用1和0表示，y表示每个样本的实际分类情况）：

，

由上式看出，Loss Function表示为实际分类与预测分类结果的交叉熵

，其中p表示实际样本的二值分布，q表示预测概率的二值分布。

交叉熵最小时，表示二者的概率分布约接近。

3、Gradient Decent：在求梯度下降时，两种情况对Loss Function求导得到的梯度下降表达式一致。