本文从概率论和信息论的角度深入浅出地解释了深度学习，探讨了概率分布、高斯分布、信息量、信息熵和KL散度等概念，并指出交叉熵在损失函数中的应用，帮助理解神经网络如何通过比较概率分布进行学习和优化。
今天就把前面数学篇提到的从概率论和信息论的角度看深度学习简单的讲一讲。
二、概率论
我们要研究这个问题首先要明白什么是概率？
概率，亦称“或然率”，它是反映随机事件出现的可能性大小。随机事件是指在相同条件下，可能出现也可能不出现的事件，概率是等分事件发生的可能性。
那么概率分布呢？
官方解释：指用于表述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。
我的理解：
我们的系统需要站在宏观的角度来看一个事物的整体（各种特征）——（即利用概率分布判断标签label和输出的相似度）
比如经常我们在整个网络的最后加上sigmold（2类）/so
最低0.47元/天 解锁文章
扫一扫
6848
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
