白话机器学习-最优化方法-梯度下降法

目录

前言：

本来打算直接分享逻辑回归的知识了，但是在整理笔记的过程中发现，逻辑回归里面用到的知识点不少，所以先整理下用到的相关数学知识，本章首先分享梯度下降法；

我们知道，数据挖掘的核心方法论是，定义出目标函数，定义出损失函数（代价函数），然后运用各种数学方法进行代价函数最小化，本章将要结束的梯度下降法就是一种方法（术语无约束最优化方法）

定义：

梯度下降法（gradient descent）或最速下降法（steepest descent），通常用来求解无约束最优化问题。（注：最优化问题可以分为约束最优化与无约束最优化，这个后续要是大家有兴趣，我可以做下分享。）

• 特点：

1. 实现简单；
2. 迭代算法，每一步需要求解目标函数的梯度向量。

• 定义： 假设f（x）是

  $$R^N$$

  上具有一阶连续偏导数的函数，要求解的无约束最优化问题是：

  

  $$x^{\ast }$$

  表示目标函数f(x)的极小点。

分析

梯度下降法是一种迭代算法，选取适当的初始值x0，进行迭代，更新x0的值，进行目标函数的极小化，直至收敛。由于负梯度方向是使函数值下降最快的方向，所以在迭代的每一步，用负梯度方向进行更新x的值，从而达到减少函数值的目的。

算法描述

梯度下降算法描述如下：