机器学习中常用的数学概念

独立同分布independent and identically distributed (i.i.d.)：

在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意味着X1和X2具有相同的分布形状和相同的分布参数，对离随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望、方差。如实验条件保持不变，一系列的抛硬币的正反面结果是独立同分布。

分别解释独立、同分布及独立同分布.
用最简单的抛色子给你当做例子来理解:
(1)独立就是每次抽样之间是没有关系的,不会相互影响
就像我抛色子每次抛到几就是几这就是独立的
但若我要两次抛的和大于8,其余的不算,那么第一次抛和第二次抛就不独立了,因为第二次抛的时候结果是和第一次相关的
(2)同分布的意思就是每次抽样,样本都服从同样的一个分布
抛色子每次得到任意点数的概率都是1/6,这就是同分布的
但若我第一次抛一个六面的色子,第二次抛一个正12面体的色子,就不再是同分布了
(3)独立同分布,也叫i,i,d,就是每次抽样之间独立而且同分布的意思