机器学习 Logistic回归

目录

一.线性模型及回归:

 1.一维数据线性模型:

2.多维数据:

 二.对数线性回归:

 三.Logistic回归:

1.极大似然估计:

 2.梯度下降:

三.本次实验数据集介绍:

1.数据集信息介绍:

2.采用算法:

3.训练数据:(其中第二栏的性别男性为1，女性为 0)

4.代码和代码实现:

---

一.线性模型及回归:

  线性模型的一般形式:

        

其中 x =( x 1 , x 2 , ..., x d ) 是由 d 维属性描述的样本，其中 x i 是 x 在第 i 个属性上的取值。

向量形式可记为：

 1.一维数据线性模型:

给定数据集:

 

 

 一维数据线性模型最终需要得到:

 这样可以准确的预测出该线性模型在xi处的值；

 

即我们需要将误差尽可能的减少；

下面我们将用到最小二乘法，即利用均方误差最小化来求解参数

该函数已被证明为凸函数，由于凸函数的性质我们可以通过求取极值点来求取极小值

 分别对这两个参数求偏导数，并且令这两个偏导数为0；

 

 最终得到w和b的值:

 通过上述公式，我们可以通过已知的数值算出最终一维数据线性模型的w和b的值。

2.多维数据:

多维数据集:

 我们想通过:

 在多维数据集中，我们可以将其表示为向量模式:

 同样通过最小二乘法，求取最小误差: