深度学习之数学篇

线性代数

1、向量

在数学中，向量（也称为欧几里得向量、几何向量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量（物理学中称标量），数量（或标量）只有大小，没有方向。
　　一般印刷用黑体的小写英文字母（a、b、c等）来表示，手写用在a、b、c等字母上加一箭头（→）表示，也可以用大写字母AB、CD上加一箭头（→）等表示。
　　向量的矩阵表示：
　　

2、向量运算

• 加法
  

• 减法
  

• 数乘

• 数量积

• 向量积
  
  

• 三向量混合积
  

3、矩阵

矩阵就是m*n个数排列成的m行n列的表格。
　　由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作：

　　这m×n 个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数 aij为(i,j)元的矩阵可记为(aij)或(aij)m × n，m×n矩阵A也记作Amn。
　　元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵。而行数与列数都等于n的矩阵称为n阶矩阵或n阶方阵。

4、矩阵运算

矩阵的基本运算包括矩阵的加法，减法，数乘，转置。

• 加法：
  
  　　矩阵的加法满足下列运算律(A，B，C都是同型矩阵)：
  　　应该注意的是只有同型矩阵之间才可以进行加法。

• 减法：
  

• 数乘：
  
  　　矩阵的数乘满足以下运算律：
  
  　　矩阵的加减法和矩阵的数乘合称矩阵的线性运算。

• 转置：
  
  　　矩阵的转置满足以下运算律：
  

5、范数

范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
　　范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

6、特征值和特征向量

特征值是指设Ａ是n阶方阵，如果存在数ｍ和非零n维列向量ｘ，使得Ａｘ＝ｍｘ成立，则称ｍ是Ａ的一个特征值。非零n维列向量ｘ称为矩阵Ａ的属于（对应于）特征值ｍ的特征向量，简称Ａ的特征向量。

高数

1、导数

• 导函数

• 几何意义
  　　函数y=f（x）在x0点的导数f’（x0）的几何意义：表示函数曲线在点P0（x0，f（x0））处的切线的斜率（导数的几何意义是该函数曲线在这一点上的切线斜率）。

2、微分

• 基本法则
  

3、积分

积分是微积分学与数学分析里的一个核心概念。通常分为定积分和不定积分两种。直观地说，对于一个给定的正实值函数，在一个实数区间上的定积分可以理解为在坐标平面上，由曲线、直线以及轴围成的曲边梯形的面积值（一种确定的实数值）。

4、梯度

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

5、泰勒公式

常用泰勒展开式：

概率论

1、条件概率

基本定理：

2、期望

在概率论和统计学中，数学期望(mathematic expectation [4])（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。

• 离散型
  

• 连续型