常用的微分运算法则

机器学习涉及到较多的数学知识，在工程应用领域，这些数学知识不是必要的，其实很多算法都是数值运算专家写好了的。然而知其然知其所以然，了解这些数学公式的来龙去脉是帮助理解算法的关键。本文直接给出常用的微分运算法则，并运用这些法则来计算分类回归算法 (Logistic Regression) 预测模型 Sigmoid Function 的微分公式。

基础函数的微分运算法则

• 幂函数法则
  $$\begin{align} \frac{d}{dx} x^n = nx^{n-1} \end{align}$$
• 指数函数法则
  $$\begin{align} \frac{d}{dx} e^x = e^x \end{align}$$
  $$\begin{align} \frac{d}{dx} a^x = ln(a)a^x \end{align}$$
• 对数函数法则
  $$\begin{align} \frac{d}{dx} ln(x) = \frac{1}{x} \end{align}$$
  $$\begin{align} \frac{d}{dx} log_a(x) = \frac{1}{xln(a)} \end{align}$$
• 三角函数法则
  $$\begin{align} \frac{d}{dx} sin(x) = cos(x) \end{align}$$
  $$\begin{align} \frac{d}{dx} cos(x) = -sin(x) \end{align}$$
  $$\begin{align} \frac{d}{dx} tan(x) = sin^2(x) = \frac{1}{cos^2(x)} = 1 + tan^2(x) \end{align}$$
• 反三角函数法则
  
  ddxarcsin(x)=11−x2‾‾‾‾‾