z2876563的博客

参考https://www.jianshu.com/p/43318a3dc715看完这篇博文之后我几乎明白了熵值和KL散度的意义。熵值以下是熵值的计算公式：根据我的理解，熵值是用来衡量传输某数据的分布概率值要使用的存储空间，熵值公式中的p(x)就是某数据出现的概率，例如有两颗蛀牙的概率为p(2)。最多有10颗牙，则N=10；log的底数是任意的，当底数是2时，则logp(x)则代表传输这个概率值需要的比特位数，再乘以这个概率值p(x)本身，就是代表求期望的意思了。所以熵值就代表传输这个数据的一

参考https://new.qq.com/rain/a/20210203A0CTR400很多时候光努力不够，方向更重要。新手如何选博士几年的topic，有两个问题值得思考：能不能快速上手？ 有几个简单的评判标准：state-of-the-art的paper有没有开源的代码？目的是你能迅速复现baseline，熟悉整体pipeline（如怎样预处理，后处理），加深对实现和细节的理解有没有对这个topic有hands-on经验的师兄，或者community里面approachable的前辈？目的是，当你

参考https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html#fn:3要讲明白为什么LSTM可以防止梯度消失，就是要讲明白、这两个求导的连乘为什么不是无穷大或0.百度上搜索这个问题的解答基本上都模糊不清或者是错误的，而且关于的求导公式基本是错的，太误人子弟了！以下摘两个我看的阅读量比较高的错误博客。错误示范1：https://zhuanlan.zhihu.com/p/28749444这个博客的求导.