本文是《Deep Learning》第五章的笔记，主要探讨了深度学习的基本假设，包括独立同分布和估计理论。重点讲解了最大似然估计（MLE），及其与损失函数、KL散度和交叉熵的关系。通过最小化交叉熵，可以实现模型对数据分布的拟合。
Deep Learning 第五章
1.基本假设（独立同分布~iid）
- 训练集与数据集的样本独立的由分布函数 p d a t a p_{data} pdata产生
2.估计
- p m o d e l ( x ; θ ) p_{model}(x;\theta) pmodel(x;θ)为一族由θ确定的在相同空间上的概率分布。
- 使用这一分布来将输入 x x x映射到实数来估计真实概率分布 p d a t a ( x ) p_{data}(x) pdata(x)
3.最大似然估计（MLE)
- 定义： θ M L = arg max θ p m o d e l ( X ; θ ) = arg max θ ∏ i = 1 m p m o d e l ( x ( i ) ; θ ) \theta_{ML}=\arg\max_{\theta} \ p_{model}(\mathbb{X};\theta) =\arg\max_{\theta} \ \prod_{i=1}^mp_{model}(x^{(i)};\theta) θML=argmaxθ pmodel(X;θ)=argmaxθ ∏i=1mpmodel(x(i);θ)
- log形式： arg max θ ∑ i = 1 m l o g p m o d e l ( x ( i ) ; θ ) \arg\max_{\theta}\sum_{i=1}^mlogp_{model}(x^{(i)};\theta) argmaxθ∑i=1mlogpmodel(x
最低0.47元/天 解锁文章
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
