梯度下降原理（个人理解）

梯度下降

基本概念：

梯度下降是在监督学习中，为了优化模型参数，求出损失函数J(θi)(loss function)取得最小值时，对应的参数θ值的一种迭代算法

数学公式：

​ 对于一般的线性回归，假设函数可表示为：
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_3+...+{\theta }_n{x}_n$$
​ 其中n为样本特征数，${\theta }_i$(i = 0, 1, 2 … n) 为模型参数，$x_i$(i = 0, 1, 2 … n) 为每个样本的n个特征值，将上式化简后可得：
$$h_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}_i$$
​ 对于上面的假设函数，其损失函数 （平方损失函数）可表示为：
J ( θ 1 , θ 2 .