中心极限定理 与 正态分布

• 学习中心极限定理，学习正态分布，学习最大似然估计

• 最优化理论及方法

• 高等数学

• 统计学

• 概率论

• 参数估计

• 正态分布与中心极限定理(中心极限定理是正态分布的一个前置知识)

  • 如果误差可以看作许多微小量的叠加，则根据中心极限定理(用样本的平均值估计总体的期望)，随机误差理所当然服从正态分布；

  • 假设一随机变量X服从一个期望和方差分别为
    $$\mu 和{\sigma }^2$$
    的正态分布，概率密度函数为
    $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
    则可以记为
    $$X\sim N(\mu ,{\sigma }^2)$$
    图例表示
    

  • 正态分布为何如此常见？其真正原因是中心极限定理 (Central Limit theorem)，如果一个事物受到多种因素的影响，无论每个因素本身服从什么分布，这些因素加总后，结果的平均值就是正态分布；

  • 正态分布值适合于各种因素叠加的情况，如果这些因素不是彼此独立的，会相互加强影响，则就不会服从正态分布。如果各种因素对结果的影响不是相加，而是相乘，则最终结果将会是对数正态分布.

• 最大似然估计与贝叶斯推理 (新增专题 · 待完善)

  • 参数的意义

• 最大似然估计的直观解释

  • 最大似然估计的计算

• MLE

  • 对数似然估计

• 最大似然估计是否总能得到精确解？

  • 为何称作“ 『最大似然』or 『最大可能』”，而不是『最大概率』?

• 最小二乘参数估计和最大似然估计的结果相同的条件是什么？

  • 贝叶斯定理
    • 定义
    • 举例
  • 为何贝叶斯定理能结合先验概率？
  • 贝叶斯推理

• 定义

  • 使用贝叶斯定理处理数据分布
  • 贝叶斯定理的模型形式
  • 贝叶斯推断示例
  • 何时 最大后验概率 (Maximum A Posteriori) MAP 估计 与 最大似然 (Maxmium Likelihood Estimation MLE) 估计相等？