水很深的深度学习-task01

绪论与深度学习概述

机器学习分类

• 有监督学习：有环境的情况下，计算机从环境获取指示等
• 无监督学习：没有环境，计算机自学，一般用一些既定的标准进行评价
• 强化学习：没有环境，计算机对问题答案自我评价。

深度学习

• 定义：一般是指通过训练多层网络结构对未知数据进行分类或回归 分类

有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；
无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等

矩阵论

张量tensor：是矢量概念的推广，可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数。标量是0阶张量，矢量是一阶张量，矩阵是二阶张量，三维及以上数组一般称为张量。
矩阵分解
https://www.cnblogs.com/jian-gao/p/10781649.html
矩阵的秩：矩阵列向量中的极大线性无关组的数目，记作矩阵的列秩，同样可以定义行秩。行秩=列秩=矩阵的秩，通常记作rank(A)。
矩阵的逆
矩阵的广义逆矩阵：如果矩阵不为方阵或者是奇异矩阵，不存在逆矩阵，但是可以计算其广义逆矩阵或者伪逆矩阵；对于矩阵A，如果存在矩阵 B 使得 ABA=A，则称 B 为 A 的广义逆矩阵。
矩阵分解
矩阵特征值分解 An×n 的矩阵具有 n 个不同的特征值，那么矩阵A可以分解为 A =UΣUT.

奇异值分解
将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。
正交矩阵：若一个方阵其行与列皆为正交的单位向量，则该矩阵为正交矩阵，且该矩阵的转置和其逆相等。两个向量正交的意思是两个向量的内积为 0
正定矩阵：如果对于所有的非零实系数向量 ，都有 ，则称矩阵 是正定的。正定矩阵的行列式必然大于 0， 所有特征值也必然 > 0。相对应的，半正定矩阵的行列式必然 ≥ 0。

概率统计

随机变量：随机变量可以是离散的或者连续的，离散随机变量是指拥有有限个或者可列无限多个状态的随机变量，连续随机变量是指变量值不可随机列举出来的随机变量，一般取实数值。
随机变量通常用概率分布来指定它的每个状态的可能性
先验概率：根据以往经验和分析得到的概率，在事件发生前已知，它往往作为“由因求果”问题中的“因”出现。
后验概率：指得到“结果”的信息后重新修正的概率，是“执果寻因”问题中 的“因”，后验概率是基于新的信息，修正后来的先验概率所获得 的更接近实际情况的概率估计。

信息论

熵：信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量。
互信息：I(X;Y)=H(X)+H(Y)−H(X,Y)

相对熵：相对熵又称KL散度，是描述两个概率分布P和Q差异的一种方法，记做D(P||Q)。在信息论中，D(P||Q)表示用概率分布Q来拟合真实分布P时，产生的信息表达的损耗，其中P表示信源的真实分布，Q表示P的近似分布。
离散形式：D(P||Q) = \sum P(x)\log \frac{P(x)}{Q(x)}D(P∣∣Q)=∑P(x)logQ(x)P(x).
连续形式：D(P||Q) = \int P(x)\log \frac{P(x)}{Q(x)}D(P∣∣Q)=∫P(x)logQ(x)P(x).
交叉熵：一般用来求目标与预测值之间的差距，深度学习中经常用到的一类损失函数度量，比如在对抗生成网络( GAN )中

最优化估计

最小二乘估计又称最小平方法，是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。最小二乘法经常应用于回归问题，可以方便地求得未知参数，比如曲线拟合、最小化能量或者最大化熵等问题。