机器学习中的数学基础

1. Norm

在这里插入图片描述
L0 norm是求向量里非0的元素个数,主要用在稀疏表示上,我们希望多数元素为0,这个时候L0就有用了。
在这里插入图片描述
在这里插入图片描述

L1 norm 也叫曼哈顿距离。
当p是无穷的时候,我们将其展开,向量中最大元素的无穷次幂远大于其他元素,因此Lp norm即是向量中的最大元素。
在这里插入图片描述

为什么L1Norm的等高线是菱形?
L1 Norm每条线上的横纵坐标之和相同。L2同理。
在这里插入图片描述

2. Tenor

Tensor的含义
可见:https://www.wukong.com/question/6531498435785261325/
在这里插入图片描述

二维Tensor
在这里插入图片描述
在这里插入图片描述

3. 行列式

在这里插入图片描述
含义:二维矩阵的行列式的值即为两向量构成的平行四边形的面积,三维则为立方体体积

4. 特征值和特征向量

在这里插入图片描述

5. 奇异值分解

在这里插入图片描述

6. Jacobian matrix & Hessiam matrix

在这里插入图片描述
分别为矩阵的一阶导数和二阶导数

7. 凸函数

在这里插入图片描述
集合内任意两点之间的线上的元素在集合内 则为凸集合

激活函数一般用凸函数,便于优化找最值

8. 概率

客观概率: 基于重复 采样得到的频率、频次
主观概率:对事情不确定的度量

在这里插入图片描述

贝叶斯

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

二项分布

在这里插入图片描述

n趋于无穷大的时候,二态分布就变成了正态分布

期望

在这里插入图片描述
期望就是求均值,但是取值的可能性可能不同,因此取所有概率下的均值,
函数的期望相当于函数取值乘以其分布。

方差

在这里插入图片描述
标准差:数据对期望距离的平均值
在这里插入图片描述
中间点为均值,上下界为标准差

协方差

在这里插入图片描述
协方差大于0:X和Y是正相关的
等于0:相互独立
小于0:负相关

联合概率分布

在这里插入图片描述

边缘概率:在X方向求加和,相当于求Y的分布
在这里插入图片描述

概率密度分布

在这里插入图片描述

伯努利分布

在这里插入图片描述

二项分布

在这里插入图片描述

多项式分布

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

伽马分布

在这里插入图片描述

beta分布

在这里插入图片描述
通过调整α和β来调整0-1之间的曲线

泊松分布

在这里插入图片描述
期望是λ

高斯分布(正态分布)

在这里插入图片描述

对数正态分布

在这里插入图片描述

指数分布

9. 过拟合

在这里插入图片描述

10. 维数的诅咒

在这里插入图片描述

11. 分类

在这里插入图片描述

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页