目录
转载自 Github高赞机器学习项目
Chapter 1 数学基础
1.1 向量和矩阵
标量(scalar)
一个标量表示一个单独的数,它不同于线性代数中研究的其他大部分对象(通常是多个数的数组)。我们用斜体表示标量。标量通常被赋予小写的变量名称。
向量(vector)
一个向量表示一组有序排列的数。通过次序中的索引,我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称,比如 xx。向量中的元素可以通过带脚标的斜体表示。向量X的第一个元素是X1,第二个元素是X2,以此类推。我们也会注明存储在向量中的元素的类型(实数、虚数等)。
矩阵(matrix)
矩阵是具有相同特征和纬度的对象的集合,表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行,一个特征表示为矩阵中的一列,每个特征都有数值型的取值。通常会赋予矩阵粗体的大写变量名称,比如A。
张量(tensor)
在某些情况下,我们会讨论坐标超过两维的数组。一般地,一个数组中的元素分布在若干维坐标的规则网格中,我们将其称之为张量。使用 A 来表示张量 “A”。张量A中坐标为(i,j,k)的元素记作A(i,j,k)。
向量的范数 (norm)
- 1范数,绝对值之和
- 2范数,平方和开根号
- 无穷范数,向量的所有元素的绝对值中最大
1.2 导数和偏导数
导数的定义
1.4 概率分布与随机变量
离散型随机分布, PMF概率质量函数;
连续型随机分布,PDF概率密度函数。
条件概率
1.5 常见概率分布
Bernoulli分布
高斯分布
问:何时采用正态分布? 答:缺乏实数上分布的先验知识,不知选择何种形式时,默认选择正态分布总是不会错的,理由如下:
- 中心极限定理告诉我们,很多独立随机变量均近似服从正态分布,现实中很多复杂系统都可以被建模成正态分布的噪声,即使该系统可以被结构化分解.
- 正态分布是具有相同方差的所有概率分布中,不确定性最大的分布,换句话说,正态分布是对模型加入先验知识最少的分布.
指数分布
Laplace 分布
Dirac 分布和经验分布
1.6 期望、方差、协方差、相关系数
- 在概率论和统计学中,数学期望(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
- 概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。方差是一种特殊的期望。
- 协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为:
Cov(x,y)=E((x−E(x))(y−E(y)))
- 相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为
相关系数的性质:
1)有界性。相关系数的取值范围是 [-1,1],可以看成无量纲的协方差。
2)值越接近 1,说明两个变量正相关性(线性)越强。越接近 - 1,说明负相关性越强,当为 0 时,表示两个变量没有相关性。