人工智能③——梯度下降与一元线性回归

   目      录

一. 梯度下降

     1.基本概念

     2.梯度下降的步骤

     3.批量梯度下降(BGD)和随机梯度下降(SGD)

二. 一元线性回归

      1.概念

      2.代价函数

      3.公式推导

    正     文

一. 梯度下降

     1. 概念：梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约          束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度            向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是            最速下降法名称的由来）。

        梯度：梯度是一个向量，函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大          （为该梯度的模）梯度下降，其实就是一个公式：其中α为“学习率”。

                                                      

      2. 步骤

       （1）随机初始参数

       （2）确定学习率α

       （3）求出损失函数对参数梯度

       （4）按照公式更新参数

       （5）重复(3)(4)直到满足终止条件（如：损失函数或参数更新小于某个阈值） 

        例题：假设损失函数为Loss=(β-3)^2,采用梯度下降的方法求损失函数的极值，写出在β=0，                       α=0.05下，两轮迭代参数β的变化过程。（解题步骤如下）

      3. 批量梯度下降（BGD）其需要计算整个训练集的梯度，即：

                                         其中η为学习率，用来控制更新的“力度”/"步长"。

     4. 随机梯度下降（SGD）仅计算某个样本的梯度，即针对某一个训练样本 xi及其label yi更新参          数，逐渐减小学习率：

二. 一元线性回归

 1. 概念

回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归。一元线性回归其实就是从一堆训练集中去算出一条直线，使数据集到直线之间的距离差最小。图形展示如下：（左为一元线性回归，右为多元线性回归故其为曲线）

                   

2. 代价函数

                      （其中2m分之一是为了求导的过程中更加简便而设定的）

3. 公式推导（图片如下）