机器学习-logistic逻辑回归原理 及 opencv实现

1.logistics回归原理

--吴恩达课程笔记

本笔记分成两部分：线性回归和逻辑回归，涉及概念：正规方程，过拟合，欠拟合，代价函数，梯度下降，学习率，正则化

1.1 线性回归

线性拟合即假设一个模型为多元线性方程（包括特殊的单元线性回归），回归方程可表示为：

其中表示假设模型的参数，X表示模型的特征向量。

      模型的作用在于给定一个输入的特征向量X，预测输出值h，一个好的模型预测到的值越接近实际值越好。

对线性回归方程有两种解法：一是梯度下降，二是正规方程。

1.1.1梯度下降法

梯度下降法是通过迭代方法不断优化模型一种算法，优化目标函数成为代价函数（cost function)，代价函数意味让模型预测值接近真值需要花费的代价，所以定义为：

需要经过计算不断更新新的向量，使J沿梯度下降方向减少。当J对的偏导为0的时候，即达到局部最优。

由于这里是线性回归，则J为凸函数（可以证明），局部最优即是全局最优。每次迭代时输入的样本数据个数为m，“Batch”梯度下降，使用所有的样本数据计算J的偏导。计算过程为：

Repeat{