深度学习的数学-导数和偏导数

前言

本章主要记录机器学习里边比较重要且非常容易成为初学者拦路虎（没错就是博主我）的一个数学概念：导数和偏导数

正文

导数的定义

对于一个函数 f(x)，其导数的定义如下：

其中 lim Δx->0，表示右侧表达式在 Δx 趋近0的时候，应该是一个什么样的结果，比如 f(x) = 3x 的导数求解过程如下

已知函数f(x) ，求其 导函数 的过程叫做求导，当导函数的值存在的时候，称为函数f(x) 可导

导数的含义及常见函数导数

导数的含义在坐标系中表现为连续函数某一点的切线(l)的斜率，当Q无线接近于P的时候，PQ的斜率就无限接近切线l的斜率

常见函数的导数公式：

• ©’ = 0
• (x)’ = 1
• (x^2)’ = 2x
• (x^3)’ = 3x^2
• (e^x)’ = e^x
• (e^(-x)) = - e^(-x)

导数的性质

导数具有线性的性质，即**“和的导数为导数的和，常数倍的导数为导数的常数倍”**，也就是如下图所示的公式

举个栗子，用导数的性质来求一个函数f(x) = (2 - y)^2，如果不用导数公式与式子，直接用定义 f'(x) = (f(x + Δx) - f(x))/(Δx) 的话，得算一分钟（说的就是博主本人）；
但是拆分多项时候，配合性质，几乎是一眼就能看出答案，过程如下：