机器学习_数学基础_高数、线代、概率

机器学习中的数学基础

一、导数








这一遍书看得很深刻，好像学明白了一样，书还是得多看几遍呐。下面是一些例题，我只看了一下，无聊的时候做几道。









参考：
https://wenku.baidu.com/view/e413426b10661ed9ad51f39e.html
二、梯度
学习梯度之前，先看方向导数。



参考：
https://baijiahao.baidu.com/s?id=1627719346341492607&wfr=spider&for=pc
https://baijiahao.baidu.com/s?id=1627719346341492607&wfr=spider&for=pc
三、凸函数


https://wenku.baidu.com/view/2b1c2410e2bd960591c67728.html
四、凸集

五、Taylor公式
这一部分的知识，与上学期学到的《数学分析》中的思想一样，就是逼近，用一个简单的函数来代替复杂的函数，这个函数无限的逼近这个函数。




参考博客：https://blog.csdn.net/qq_38646027/article/details/88014692
https://wenku.baidu.com/view/ff9e6e7ca417866fb84a8eb9.html
六、联合概率、条件概率、贝叶斯公式
1.条件概率
设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：

                 P(A|B)=P(AB)/P(B)

分析：一般说到条件概率这一概念的时候，事件A和事件B都是同一实验下的不同的结果集合，事件A和事件B一般是有交集的，若没有交集（互斥），则条件概率为0，例如：

① 扔骰子，扔出的点数介于[1,3]称为事件A，扔出的点数介于[2,5]称为事件B，问：B已经发生的条件下，A发生的概率是多少？

也即，做一次实验时，即有可能仅发生A，也有可能仅发生B，也有可能AB同时发生，

② 同时扔3个骰子，“三个数都不一样”称为事件A，“其中有一个点数为1”称为事件B。这一题目中，AB也是有交集的。

用图更能容易的说明上述问题，我们进行某一实验，某一实验所有的可能的样本的结合为Ω（也即穷举实验的所有样本），圆圈A代表事件A所能囊括的所有样本，圆圈B代表事件B所能囊括的所有样本。

由图再来理解一下这个问题：“B已经发生的条件下，A发生的概率”，

这句话中，“B已经发生”就相当于已经把样本的可选范围限制在了圆圈B中，

其实就等价于这句话：“在圆圈B中，A发生的概率”，显然P(A|B)就等于AB交集中样本的数目/B的样本数目。

为什么这里用的是样本的数目相除，而上面的公式却是用的概率相除，原因很简单，用样本数目相除时，把分子分母同除以总样本数，这就变成了概率相除。
2.联合概率
联合概率指的是包含多个条件且所有条件同时成立的概率，记作P(X=a,Y=b)或P(a,b)，有的书上也习惯记作P(ab)，但是这种记法个人不太习惯，所以下文采用以逗号分隔的记法。

一定要注意是所有条件同时成立！
3.边缘概率
边缘概率是与联合概率对应的，P(X=a)或P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率
https://www.cnblogs.com/zzdbullet/p/10043680.html
https://www.cnblogs.com/zhoulujun/p/8893393.html
七、各种概率的分布
1.两点分布/伯努利分布
二项分布（Binomial Distribution），即重复n次的伯努利试验（Bernoulli Experiment）用ξ表示随机试验的结果。如果事件发生的概率是P,则不发生的概率q=1-p

2. Poisson分布
Poisson分布，是一种统计与概率学里常见到的离散概率分布，由法国数学家西莫恩·德尼·泊松（Siméon-Denis Poisson）在1838年时发表。泊松分布（Poisson distribution），台译卜瓦松分布（法语：loi de Poisson，英语：Poisson distribution，译名有泊松分布、普阿松分布、卜瓦松分布、布瓦松分布、布阿松分布、波以松分布、卜氏分配等），是一种统计与概率学里常见到的离散机率分布（discrete probability distribution）。泊松分布是以18～19 世纪的法国数学家西莫恩·德尼·泊松（Siméon-Denis Poisson）命名的，他在1838年时发表。
概率函数：


3. 均匀分布
均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为U（a，b）。


4. 指数分布
在概率理论和统计学中，指数分布（也称为负指数分布）是描述泊松过程中的事件之间的时间的概率分布，即事件以恒定平均速率连续且独立地发生的过程。 这是伽马分布的一个特殊情况。 它是几何分布的连续模拟，它具有无记忆的关键性质。 除了用于分析泊松过程外，还可以在其他各种环境中找到。
指数分布与分布指数族的分类不同，后者是包含指数分布作为其成员之一的大类概率分布，也包括正态分布，二项分布，伽马分布，泊松分布等等。
指数函数的一个重要特征是无记忆性（Memoryless Property，又称遗失记忆性）。这表示如果一个随机变量呈指数分布，当s,t>0时有P(T>t+s|T>t)=P(T>s)。即，如果T是某一元件的寿命，已知元件使用了t小时，它总共使用至少s+t小时的条件概率，与从开始使用时算起它使用至少s小时的概率相等。
分布函数：

其中λ > 0是分布的一个参数，常被称为率参数（rate parameter）。即每单位时间内发生某事件的次数。指数分布的区间是[0,∞)。 如果一个随机变量X呈指数分布，则可以写作：X~ E（λ）.

5. 标准正太分布
若随机变量X服从一个数学期望为μ、方差为σ^{2的正态分布，记为N(μ，σ}2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。

6. 卡方分布
若n个相互独立的随机变量ξ₁，ξ₂，…,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。

7. F分布
若总体XN(0,1)分布， （X1,X2…,Xn1）与(Y1,Y2,Y3…Yn)
为来自X的两个独立样本，设统计量：

则称统计量F服从自由度n1和 n2的F分布，记为 FF(N1,N2).

八、大数定理、中心极限定理
大数定理是说，在样本很大的情况下，n发生的频率依概率收敛于n的概率p。从理论上说明了只要试验的次数n充分大，事件发生的频率与其概率偏差就足够小。
推荐一篇文章：http://www.sohu.com/a/338507372_120177937
中心极限定理，就是用少量的样本得到结论。样本的平均值等于总体的平均值。不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布。

九、MLE
求解步骤：


(3)对求导数并令之为0：
下面是一道习题

十、线性代数
主要是矩阵的操作。
十一、矩阵的求导**