线性回归、逻辑回归

线性回归、逻辑回归

1. 理解

线性回归解决的是回归问题，逻辑回归相当于是线性回归的基础上解决分类问题。

• 线性回归
  

• 逻辑回归
  

2. 联系与区别

• 联系：
  逻辑回归在线性回归后加了一个sigmoid函数，将线性回归变成一个0~1输出的分类问题。
• 区别：

线性回归	逻辑回归
预测连续的变量（房价预测）	预测离散的变量（分类，癌症预测）
拟合函数	预测函数
最小二乘法	似然估计

3.神经网络的训练方法：梯度下降法（Gradient descent）

1、先随机初始化一组模型参数。
2、每次迭代更新这组参数，损失函数值也随之减小。
3、当某个特定条件或是终止条件得到满足时，整个训练过程结束。

找让loss最小的时候的w和b，进行梯度下降。
目的：不论是在线性回归还是Logistic回归中，梯度下降主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。

• 单变量的函数中：梯度是函数的微分，表示函数在某个给定点的切线即斜率。
• 在多变量函数中，梯度是一个向量，向量有方向。梯度的方向就指出了函数在给定点的上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，即损失函数值减小最快的方向。

eg:线性回归

用梯度下降法来拟合某条直线
首先，定义一个代价函数，在此选用均方误差代价函数（也称平方误差代价函数）。均方误差函数就是把预测值和真实值差的平方求和再除以2倍的样本数量。

预测函数：

代价函数的梯度：

步骤：
1、给定待优化连续可微分的函数J（θ），用随机值初始化权重和偏差，学习率或步长，以及一组初始值（真实值）
2、计算待优化函数梯度
3、更新迭代，计算新的梯度
4、调整相应的（权重）值以减小误差
5、重复迭代，直至得到网络权重的最佳值

4.

损失函数Loss Function：定义在单个样本上，算的是一个样本的误差。
代价函数Cost Function：定义在整个训练集上，计算所有样本的误差，也就是损失函数的平均。
目标函数Object Function：定义为最终需要优化的函数。
Object Function = Cost Function + 正则化项（防止过拟合）