机器学习,需要一定的数学基础,需要掌握的数学基础知识特别多,如果从头到尾开始学,估计大部分人来不及,我建议先学习最基础的数学知识,基础知识可以分为高等数学、线性代数、概率论与数理统计三部分,我整理了相关数学基础资料:
源文件下载:
https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math
内容简介
一、斯坦福大学CS229数学基础
这是斯坦福大学 CS 229 机器学习课程的基础材料,是斯坦福各大人工智能课程的数学基础,对人工智能课程做了优化,强烈推荐!!
我们对原始教程进行了翻译,翻译版本做成了在线阅读版本。
二、国内大学的数学基础教材精华
这个是我考研考博时候整理的中文教材的资料,分为高等数学、线性代数、概率论与数理统计三部分,我把和机器学习相关的数学知识进行了整理,进行公布。
本文是概率论和数理统计部分,建议收藏慢慢看。
概率论和数理统计
随机事件和概率
1.事件的关系与运算
(1) 子事件: ,若 发生,则 发生。
(2) 相等事件: ,即 ,且 。
(3) 和事件: (或 ), 与 中至少有一个发生。
(4) 差事件: , 发生但 不发生。
(5) 积事件: (或 ), 与 同时发生。
(6) 互斥事件(互不相容): = 。
(7) 互逆事件(对立事件):
2.运算律(1) 交换律: (2) 结合律: (3) 分配律:
3.德 摩根律
4.完全事件组
5.概率的基本公式(1)条件概率:
(2)全概率公式:
(3) Bayes 公式:
注:上述公式中事件
(4)乘法公式:
6.事件的独立性
(1)
(2)
(3)
7.独立重复试验
将某试验独立重复
8.重要公式与结论
(5)条件概率
(6)若
(7)互斥、互逆与独立性之间的关系:
(8)若相互独立,则
随机变量及其概率分布
1.随机变量及概率分布
取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机变量,概率分布通常指分布函数或分布律
2.分布函数的概念与性质
定义:
性质:(1)
(2)
(3) 右连续
(4)
3.离散型随机变量的概率分布
4.连续型随机变量的概率密度
概率密度
(1)
(2)
(3)
5.常见分布
(1) 0-1 分布:
(2) 二项分布:
(3) Poisson分布:
(4) 均匀分布
(5) 正态分布:
(6)指数分布:
(7)几何分布:
(8)超几何分布:
6.随机变量函数的概率分布
(1)离散型:
则:
(2)连续型:
则:,
7.重要公式与结论
(1)
(2)
(3)
(4)
(5) 离散型随机变量的分布函数为阶梯间断函数;连续型随机变量的分布函数为连续函数,但不一定为处处可导函数。
(6) 存在既非离散也非连续型随机变量。
多维随机变量及其分布
1.二维随机变量及其联合分布
由两个随机变量构成的随机向量
2.二维离散型随机变量的分布
(1) 联合概率分布律
(2) 边缘分布律
(3) 条件分布律
3. 二维连续性随机变量的密度
(1) 联合概率密度
(2) 分布函数:
(3) 边缘概率密度:
(4) 条件概率密度:
4.常见二维随机变量的联合分布
(1) 二维均匀分布:
(2) 二维正态分布:,
5.随机变量的独立性和相关性
相关系数
6.两个随机变量简单函数的概率分布
离散型: 则:
连续型: 则:
,
7.重要公式与结论
(1) 边缘密度公式:
(2)
(3) 若
(4) 若
(5) 若
随机变量的数字特征
1.数学期望
离散型:;
连续型:
性质:
(1)
(2)
(3) 若
(4)
2.方差:
3.标准差:
4.离散型:
5.连续型:
性质:
(1)
(2)
(3)
(4) 一般有
(5)
(6)
6.随机变量函数的数学期望
(1) 对于函数
(2)
7.协方差
8.相关系数
,
性质:
(1)
(2)
(3)
(4)
(5)
,其中
9.重要公式与结论
(1)
(2)
(3)
,其中
(4) 下面 5 个条件互为充要条件:
注:
数理统计的基本概念
1.基本概念
总体:研究对象的全体,它是一个随机变量,用
个体:组成总体的每个基本元素。
简单随机样本:来自总体
统计量:设
样本均值:
样本方差:
样本矩:样本
样本
2.分布
分位数:若
3.正态总体的常用样本分布
(1) 设
则:
4)
4.重要公式与结论
(1) 对于
(2) 对于
(3) 对于
(4) 对于任意总体
本文首发于“机器学习初学者”公众号