占的时间一味愚的博客

# 深度学习## 必备的数学知识### 概率论我们将接着上一篇文章继续讲解。在接下来的文章中，将会把随机变量本身写作大写字母，随机变量的值写作小写字母。#### 期望、方差和协方差期望（expectation）是指随机变量X所有可能取值的平均或期望值。期望可以看作随机变量的中心或平均位置。换句话说期望是随机变量可能取值的加权平均，权重就是每个值的概率。 对于离散型随机变量，其期望$\mathbb{E}[X]$定义为$$ \mathbb{E}[X]=\sum_{x} xP(X)$$

大家还记得[上一篇文章]()的提到的联合概率分布吗？定义在一组变量的联合概率分布的子集上的概率分布被称为边缘概率分布（marginal probability distribution）。对于离散型随机变量x和y，如果我们有$P(x,y)$,则可以根据以下求和法则（sum rule）来计算$P(x)$$$ \forall x \in x,P(x=x)=\sum_{y}P(x=x,y=y)$$例如，假设我们有两个离散随机变量$x$和$y$，它们的可能值分别为$x = {1, 2}$和$y =

深度学习必备的数学知识概率论在上一篇文章中，我带大家初略的了解了概率论是什么。这篇文章中我将为大家讲解概率论中的随机变量和概率分布。随机变量在概率论中，随机变量（random variable）是一个可以随机地取不同值的变量。一个随机变量是对可能的状态的描述，它的取值范围是事件的所有可能的状态。它必须伴随着概率分布来指定每个状态的可能性。随机变量可以是离散的，也可以是连续的，取决于它的值是否可以在一个连续的范围内变化。离散型随机变量的例子有：掷骰子的结果，1到6的整数连续型随机变量的例子

概率论是用于表示不确定声明的数学框架。换句话说，概率论是用来描述对某个随机事件发生可能性，这种可能性可以用概率来量化。例如，在一个公正的情况下，玩纸牌时所摸到牌的结果是不确定的。我们说摸到红桃A的概率是$\frac{1}{54}$(假设一共有54张牌)，它量化了我们对事件结果的不确定性。 概率论还提供了用来量化不确定性的方法，也提供了用于导出新的不确定性声明的公理。概率论提供了一套形式化的规则，可以在给定一些命题的似然，后计算其他命题为真的似然，换句话说就是可以在给定一些命题是真或假的假设下，

伪逆，又称为Moore-Penrose逆，它是一种广义的矩阵。我们可以找到任意一个矩阵的伪逆。矩阵$\mathbf{A}$的伪逆定义为：$$\mathbf{A}^+=\lim_{x \to 0}(\mathbf{A}^T\mathbf{A}+\alpha\mathbf{I})^{-1}\mathbf{A}^T$$这个公式被称为Tikhonov正则化，或岭回归。计算矩阵伪逆的方法很多， 这是其中的一种。我们还可以通过奇异值（SVD）计算伪逆。$$ \mathbf{A}^+=\math

在数学中，分解通常指的是将一个复杂的对象或结构分解为更简单的部件或组件。这个概念在许多数学领域都有应用。在线性代数中，矩阵分解是常见的一个主题，我们通过分解矩阵来发现它不明显的性质。矩阵有许多种的分解方式：LU分解、QR分解、特征分解、奇异值分解等这篇文章将会其中两种分解方式：特征分解、奇异值分解。

这篇文章将为大家讲解范数和特殊类型的矩阵和向量。

的线性方程组中，在m维空间中，一个线性方程组表示为一个超平面(hyperlane),线性方程组的解表示为这些超平面的交点。在四维及更高维度的空间中，超平面是一个 n-1 维的子空间。所以线性方程组的解也只有三种可能:无解、一个解、无限个解。这是因为一组向量的线性组合的生成子空间的维度取决于这组向量的向量数量。是的，这两个方程就是二维平面上的两个直线方程。所以这个方程组的解就是这两条直线的交点坐标。是线性方程组的两个解，则存在解。分别是对应直线上的点的坐标。的列空间中，那么该向量对应的。

我们已经在线性代数1中讲解了四个重要概念：标量、向量、矩阵和张量。以及转置、矩阵相加、标量与矩阵相乘或相加和向量和矩阵相加。这篇文章将为大家讲解矩阵乘积以及线性方程组。

序言我们在深度学习-简介和 深度学习-历史背景中已经初步了解的深度学习。在我们真正开始学习深度学习前还需要做些准备工作。那就是学习应用数学和机器学习基础。想要理解深度学习这些是必不可少的。我将在这篇文章中为大家介绍一部分与深度学习有关的线性代数。代数我们先来了解线性代数中几个重要概念：标量、向量、矩阵、张量重要概念标量（scalar）：标量是一个数。例如：1、2、3。我们使用斜体的小写变量名称表示标量，如a。在定义标量的时候会注明标量属于哪种类型的数。如：在定义实数标量的时候，可能会说

通过历史背景了解深度学习是非常简单方式。这里我们只讨论深度学习的几个关键趋势。 可能很多人会认为深度学习是一个近十年来才出现的新领域，但事实上深度学习有着悠久的历史，最早可追溯到20世纪40年代。人们之所以有这样的误解是因为在目前流行的前几年还是相对冷门的，也因为它在不同的时代被赋予了许多不同的名称。深度学习这个术语是在2000年代后期开始流行的，尤其是2006年和2007年，当时几位研究者（包括Geoffrey Hinton，Yoshua Bengio和Yann LeCun）开始使用这个术语来描述它们

让计算机从经验中学习可以避免由人类给计算机形式化地指定它需要的知识。深度学习的中深度指的是，如果绘制出这些概念如何建立在彼此之上的图，则会得到一张层次（深度）很多的图。