MLE课程笔记

Random Variables 随机变量

Discrete Random Variables 离散随机变量

1. Bernoulli distribution伯努利（二项）分布

    X = {0, 1} 
    pmf p(x) = Bern(x|q), where 
    p(1) = Bern(1|q) = Pr[x = 1] = q (we also write p(x = 1)) 
    p(0) = Bern(0|q) = Pr[x = 0] = 1 1 q (we also write p(x = 0))
   

2. Categorical distribution 类别分布

   X = {0, 1, ..., C-1}
   pmf x ∼ p(x) = Cat(x|q), where
   probability vector q = [q0, q1, ..., qCC 1] with
   qk = q0 + q1 + ... + qCC 1 = 1
   p(k) = Cat(k|q) = Pr[x = k] = qk (we also write p(x = k)) 
   

one-hot vector

Continuous Random Variables 连续随机变量

Gaussian variable 高斯变量

MATLAB 代码

	Description of any MATLAB function: help < namefunction >
	Generate a Bernoulli rv Bern(q): binornd(1, q) or (rand(1) < q)
	Generate N Bernoulli rvs Bern(q): binornd(1, q, N, 1) or (rand(N, 1) < q)
	Generate a categorical rv Cat(q): mnrnd(1, q)
	Generate N categorical rvs Cat(q): mnrnd(1, q, N) (produces one-hot vectors as rows)
	Generate a Gaussian rv N (m,s2): normrnd(m, s) or (m + s ∗ randn(1))
	Gaussian pdf N (x|m,s2): normpdf(x, m, s)
	Plot a function y = f (x): plot(x, y)

Expectation期望

1. Bernoulli rv 伯努利分布：

2. categorical rv 类别分布：
   

3. gaussion 高斯分布
   Ex=x^2 +σ^2

方差Variance

1. Bernoulli RV伯努利变量
   Var=q(1-q)

2. Gaussian RV 高斯变量
   Var(x)=σ^2

3. categorical rv 类别变量
   

Linear Algebra 线性代数

L * 1 vector

1. 一个x向量 L * 1 vector
   

2. transpose of vector x 转置矩阵
   

3. normalize a vector 正则化矩阵（求方向）
   

4. measures the cosine of the angle θ between vectors x and y 两个向量的夹角
   

L * M matrix 矩阵

1. a L * M matrix
   

2. transpose matrix 转置矩阵
   

3. diagonal matrix 对角矩阵 $I_L$ 两种写法
   
   

Random Vectors 随机向量

1. 一堆随机数的混合体

联合分布

1. Jointly Bernoulli random vector
   

2. Jointly Gaussian random vector
   
   其中，协方差能体现两个向量的关系。P=1，两变量fully, and positively, correlated正相关。P=-1，两变量fully, and negatively, correlated 负相关。
   

Marginal Distributions 边缘分布

指在概率论和统计学的多维随机变量中，只包含其中部分变量的概率分布

1. 离散型的例子
   
2. 连续随机变量例子
   

Conditional Distributions 条件分布

1. 离散型
   $$\boxed{P(x_1|x_2)=\frac{P(x_1,x_2)}{P(x_2)}}$$
   举个例子
   
2. 连续型
   
   例子：
   

Independence 独立

对于drv来说，

如果发现$X_i$的概率和$X_L$无关, $\boxed{P(X_i|X_L)=P(X_i)}$ ，那么就是独立

对于crv来说，协方差Cov=0则代表独立

Chain Rule连锁法则

没看懂，直接例题

Bayes Theorem贝叶斯定理

posterior distribution=prior distribution * likelihood ratio

Law of Iterated Expectations 迭代期望法则

名词解释

		PMF : 概率质量函数probability mass function
		PDF: 概率密度函数 probability density function 
		Var：方差variance
		eigenvalues 特征向量
		Cov：协方差covariance
		discrete：离散的 discrete
		subset：子集

待解决疑问

one-hot vector ？
categorical rv  类别变量的方差
p45
Cov? Pr？ p56
p79 所有连续？
p81 ?
p94 BERN ？