![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 50
进击的程序
Talk is cheap. Show the code!
展开
-
“win10下pytorch1.9.0+cuda11.1 gpu显存充足但pytorch可分配内存不足”问题解决
Traceback (most recent call last): File "C:/Users/CAF_d201/PycharmProjects/pythonProject/代码资源_PyTorch深度学习入门/CH4/TransferLearning.py", line 125, in <module> train(alexnet,criterion,optimizer,epochs=2) File "C:/Users/CAF_d201/PycharmProjects/py原创 2021-08-04 21:17:39 · 2434 阅读 · 1 评论 -
最大似然估计、交叉熵、KL散度的联系与区别
深度学习中交叉熵和KL散度和最大似然估计之间的关系机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系,查了一些资料发现优化这3个东西其实是等价的。熵和交叉熵提到交叉熵就需要了解下信息论中熵的定义。信息论认为:确定的事件没有信息,随机事件包含最多的信息。事件信息的定义为:I(x)=−log(P(x))I(x)=−log(P(x))I(x)=−log(P(x));而熵就是描述信息量:H(x)=Ex∼P[I(x)]H(x)=E_{x∼P}[I原创 2021-07-29 20:15:16 · 1024 阅读 · 0 评论