人工智能用到的数学基础一

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

人工智能中用到的数学基础

再AI算法中，我们经常会使用到基本的数学知识；有线性代数、概率论以及最优化问题的模块。这篇文章主要就这些数学知识做一个讲解。

人工智能是一个交叉学科，不同的方面使用不同的数学知识，学习数学基础可以使得我们更加的深入了解底层算法的逻辑，方便我们的开发和使用；

微积分是整个数学分析问题的基数。

人工智能中用到的数学知识---线性代数

线性代数是深度学习算法的核心，它通过矩阵的方式来将深度学习用数学的方式表述出来。他是主要用来处理线性问题。

一般我们的神经网络中的所有的参数都会存储在矩阵之中，线性代数刚好对于矩阵的运算有这良好的表现，所以会使得整个矩阵的运算更加的简单快捷。搭配GPU的运算可以作到并行运算；

例： 游戏中的特效是使用了大量的矩阵计算，所以当有些战斗很酷炫的时候，我们的电脑就会很卡。基本上就是这个原因，我们的处理速度上不来的原因。

线性代数中的标量、向量、矩阵

https://baike.baidu.com/item/%E5%90%91%E9%87%8F/1396519

向量(也称为欧几里得向量、几何向量、矢量)，指具有大小(magnitude)和方向的量。*它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量(物理学中称标量)，数量(或标量)只有大小，没有方向。”

向量的记法：印刷体记作黑体(粗体)的字母(如a、b、u、v)，书写时在字母顶上加一小箭头“→”。 1() 如果给定向量的起点(A)和终点(B)，可将向量记作AB(并于顶上加→)。在空间直角坐标系中，也能把向量以数对形式表示，例如xOy平面中(2,3)是一向量。

标量(scalar)，亦称“无向量”。有些物理量，只具有数值大小，而没有方向，部分有正负之分。物理学中，标量(或作纯量)指在坐标变换下保持不变的物理量。用通俗的说法，标量是只有大小，没有方向的量。

在数学中，矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合 1() ，最早来自于方程组的系数及常数所构成的方阵。这一概念由19世纪英国数学家凯利首先提出。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。 2() 在物理学中，矩阵于电路学、力学、光学和量子物理中都有应用；计算机科学中，三维动画制作也需要用到矩阵。 矩阵的运算是数值分析领域的重要问题。将矩阵分解为简单矩阵的组合可以在理论和实际应用上简化矩阵的运算。对一些应用广泛而形式特殊的矩阵，例如稀疏矩阵和准对角矩阵，有特定的快速运算算法。关于矩阵相关理论的发展和应用，请参考《矩阵理论》。在天体物理、量子力学等领域，也会出现无穷维的矩阵，是矩阵的一种推广。

数值分析的主要分支致力于开发矩阵计算的有效算法，这是一个已持续几个世纪以来的课题，是一个不断扩大的研究领域。 矩阵分解方法简化了理论和实际的计算。 针对特定矩阵结构(如稀疏矩阵和近角矩阵)定制的算法在有限元方法和其他计算中加快了计算。 无限矩阵发生在行星理论和原子理论中。 无限矩阵的一个简单例子是代表一个函数的泰勒级数的导数算子的矩阵

由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作：

这m×n 个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数 aij为(i,j)元的矩阵可记为(aij)或(aij)m × n，m×n矩阵A也记作A *mn*。

元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵。而行数与列数都等于n的矩阵称为n阶矩阵或n阶方阵

向量与矩阵的应用

在计算机视觉中，一张图片会以矩阵的形式进行存储。在处理图像时，常常会把图像矩阵转换为一个向量来处理。

每个矩阵的数值代表该图像在这个点的像素的大小；

数字图像数据可以用矩阵来表示，因此可以采用矩阵理论和矩阵算法对数字图像进行分析和处理。最典型的例子是灰度图像，如下图1所示。灰度图像的像素数据就是一个矩阵，矩阵的行对应图像的高(单位为像素)，矩阵的列对应图像的宽(单位为像素)，矩阵的元素对应图像的像素，矩阵元素的值就是像素的灰度值。

由于数字图像可以表示为矩阵的形式，所以在计算机数字图像处理程序中，通常用二维数组来存放图像数据，参见下图。二维数组的行对应图像的高，二维数组的列对应图像的宽，二维数组的元素对应图像的像素，二维数组元素的值就是像素的灰度值。采用二维数组来存储数字图像，符合二维图像的行列特性，同时也便于程序的寻址操作，使得计算机图像编程十分方便。

https://baike.baidu.com/item/%E5%9B%BE%E5%83%8F%E7%9F%A9%E9%98%B5/20879285?fr=aladdin

例子：基于图像矩阵的双重无监督判别投影

本文提出一种新的数据维数约减方法。这种新的方法是基于图像的局部散度和非局部散度而建立准则函数，并且非局部散度与局部散度是基于样本图像矩阵来构建的。准则目的是寻求一组投影轴使得投影后的样本特征的非局部散度最大化，同时也使得局部散度最小化。通过在YALE人胸库和AR人脸库上进行实验,结果表明本文提出的新方法在识别率方面整体上好于基于图像矢量的LPP(Locality Preserving Projection)和UDP(Unsupervised Discriminant Projection)，也超过常用的LDA(Linear Discriminant Analysis)。 1()

人脸自动识别

在对人脸进行自动识别时，本文提出了一种基于图像矩阵变换的主成分分析方法对人脸进行自动识别。该方法首先对图像矩阵进行适当的变换，用得到的新的图像矩阵构造图像总体散布矩阵后，再运用图像投影主分量分析进行特征抽取。 2()

非线性不相关鉴别特征抽取技术

针对现有核Fisher鉴别分析方法的弱点，提出了一种基于图像矩阵的非线性不相关鉴别特征抽取技术。该方法的基本思路是：首先，通过经验核映射将原始输入空间Rn映射到某特征空间RN，然后将特征空间RN上的训练样本向量变换为一个p×k(N=p×k)的图像矩阵，最后基于该图像矩阵直接构造该空间上的散布矩阵。在Concordia大学的CENPARMI手写体数字数据库上的试验结果验证了本文方法的有效性。

张量

张量是深度中的一个重要的点，他是一i个多维数组构成的数据；

例如一个二阶张量其实就是一个矩阵；

在深度学习中，采用tensor来存储高阶数组对应的数据。tensor, 中文叫做张量，谷歌的开源机器学习框架TensorFlow也是建立在张量的基础上。

矩阵的运算

加法

矩阵的加法满足下列运算律(A，B，C都是同型矩阵)：

应该注意的是只有同型矩阵之间才可以进行加法 。

减法

数乘

乘法

矩阵的乘法满足以下运算律：

矩阵乘法不满足交换律。

\