机器学习之数学基础

目录

Chapter 1 数学基础

1.1 向量和矩阵

转载自 Github高赞机器学习项目

Chapter 1 数学基础

1.1 向量和矩阵

标量（scalar）
一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。

向量（vector）
​一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如 xx。向量中的元素可以通过带脚标的斜体表示。向量X的第一个元素是X1，第二个元素是X2，以此类推。我们也会注明存储在向量中的元素的类型（实数、虚数等）。

矩阵（matrix）
​矩阵是具有相同特征和纬度的对象的集合，表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行，一个特征表示为矩阵中的一列，每个特征都有数值型的取值。通常会赋予矩阵粗体的大写变量名称，比如A。

张量（tensor）
​在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。使用 A 来表示张量 “A”。张量A中坐标为(i,j,k)的元素记作A(i,j,k)。

向量的范数 (norm)

1. 1范数，绝对值之和
2. 2范数，平方和开根号
3. 无穷范数，向量的所有元素的绝对值中最大

1.2  导数和偏导数

导数的定义

1.4 概率分布与随机变量

离散型随机分布， PMF概率质量函数；

连续型随机分布，PDF概率密度函数。

条件概率

1.5 常见概率分布

Bernoulli分布

高斯分布

问：何时采用正态分布？ 答：缺乏实数上分布的先验知识，不知选择何种形式时，默认选择正态分布总是不会错的，理由如下:

1. 中心极限定理告诉我们，很多独立随机变量均近似服从正态分布，现实中很多复杂系统都可以被建模成正态分布的噪声，即使该系统可以被结构化分解.
2. 正态分布是具有相同方差的所有概率分布中，不确定性最大的分布，换句话说，正态分布是对模型加入先验知识最少的分布.

指数分布

Laplace 分布

Dirac 分布和经验分布

1.6 期望、方差、协方差、相关系数

1. 在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
2. 概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。
3. 协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：

 

Cov(x,y)=E((x−E(x))(y−E(y)))

1. 相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为

相关系数的性质：
1）有界性。相关系数的取值范围是 [-1,1]，可以看成无量纲的协方差。
2）值越接近 1，说明两个变量正相关性（线性）越强。越接近 - 1，说明负相关性越强，当为 0 时，表示两个变量没有相关性。