线性回归（logistic回归）

线性回归

 

假设为单个训练样本，m为训练样本数。

为训练集。也可表示为如下：

，

上式中X有nx行，m列，Y是1行m列

 

线性回归sigmoid函数：

输出，where

线性回归的目标便是给出训练集，希望

 

参数w，b的评价有损失函数和成本函数来衡量

损失函数（Loss function）:

成本函数（Cost function）

成本函数是损失函数再整个训练集的平均值，我们的目的便是去寻找参数w，b以使得成本函数最小（凸函数）

 

梯度下降法

对于J(w)，重复进行，直到w取到最小值，其中为学习率(learning rate)