向量与矩阵范数、分布函数、 矩阵分解、随机抽样

一、范数运算

范数常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性，②齐次性，③三角不等式

范数可用于loss定义，参数约束等

1. 向量范数

• 0范数：为非0元素个数
• 1范数：为所有元素绝对值的和，公式$||x|{|}_1={\sum }_{t=1}^N|x_i|$
• 2范数：所有元素平方和的开方，即模，公式$||x|{|}_2=\sqrt{{\sum }_{i=1}^N{x}_i^2}$
• p范数：类似2范数，为所有元素的p次方之和的p次根号，公式$||x|{|}_p=\sqrt[p]{{\sum }_{i=1}^N|x_i{|}^p}$

2. 矩阵范数

• 1范数：为矩阵列向量绝对值之和的最大值，
• 2范数：对于矩阵是$A^{T}A$矩阵的最大特征值($\lambda$)的开平方，$||A|{|}_2=\sqrt{\lambda }$
• 核范数：为矩阵奇异值之和，公式$||x|{|}_{\ast }={\sum }_{i=1}^N{\lambda }_i$，${\lambda }_i$为矩阵的奇异值

3. 计算范式-norm()

• torch.norm(input, p=‘fro’, dim=None, keepdim=False, out=None, dtype=None)
• 要注意的是若不写dim，则计算Tensor中所有元素的p范数，如下图
• 且norm操作后dim这一维变为1或者消失
• 

torch.dist(input, other, p=2)

要注意的是 norm是针对一个向量或者一个矩阵去计算范数，p为要计算的范数；而 dist是用来衡量两个向量或者矩阵之间的距离，p为要计算的范数

二、分布函数

1. 伯努利分布-bernoulli

是指一个非常简单的试验是只有两个可能结果的试验，比如正面或反面，成功或失败，有缺陷或没有缺陷，病人康复或未康复。

2. 二项分布-binomial

在n次独立重复的伯努利试验中，设每次试验中事件A发生的概率为p。用X表示n重伯努利试验中事件A发生的次数，则X的可能取值为0，1，…，n，且对每一个k（0≤k≤n），事件{X=k}即为“n次试验中事件A恰好发生k次”，随机变量X的离散概率分布即为二项分布（Binomial Distribution）

3. 贝塔分布-beta

4. 柯西分布-cauchy

5. 正态分布-normal

6. 均匀分布-uniform

7. onehotcategorical

8. 拉普拉斯分布-laplace

三、 矩阵分解

1. LU分解

将矩阵A分解成L（下三角）矩阵和U(上三角）矩阵的乘积

2. QR分解

将原矩阵分解成一个正交矩阵Q和一个上三角矩阵R的乘积

3. EVD分解

特征值分解，即将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法来分解，$A=Q^{-1}\Lambda Q$。而特征值分解是用于PCA之中的

PCA主要完成的工作是它会找到一个低维度，然后再将数据投影到该维度上面，以便最小化所有样本到该低维度的投影误差的平方，最终达到降维的效果。

4. SVD分解

即奇异值分解，如下图

它主要应用于LDA算法中，线性判别分析((Linear Discriminant Analysis ，简称 LDA)是一种监督学习的降维技术，也就是说它的数据集的每个样本都有类别输出。这点与主成分和因子分析不同，因为它们是不考虑样本类别的无监督降维技术。

LDA 的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同样样例的投影尽可能接近、异样样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。其实可以用一句话概括：就是 “投影后类内方差最小，类间方差最大”。

四、随机抽样

Tensor中的随机抽样，同一个种子的随机变量相同

torch.manual_seed(seed)		# 定义随机种子
torch.normal()		# 定义随机数满足的分布

本文只用于个人学习与记录，侵权立删