深度学习与Pytorch入门实战（五）分类器

最新推荐文章于 2023-03-08 08:29:02 发布

Douzi1024

最新推荐文章于 2023-03-08 08:29:02 发布

阅读量421

点赞数

本文链接：https://blog.csdn.net/Xiao_CangTian/article/details/107374617

版权

本文介绍了深度学习中的分类问题，包括二分类和多分类，并详细探讨了交叉熵的概念，从信息熵到二分类问题的交叉熵公式。此外，还涉及了实际的多分类应用案例，如手写数据集的识别。

摘要由CSDN通过智能技术生成

笔记摘抄

1. 分类问题

1.1 二分类

\(f:x\rightarrow p(y=1|x)\)
- \(p(y=1|x)\)：解释成给定x，求y=1的概率，如果概率>0.5，预测为1；否则，预测为0
- \(p_{\theta}(y|x)\)：给定x，输出预测值的概率
- \(p_{r}(y|x)\)：给定x，真实分布

1.2 多分类

\(f:x\rightarrow p(y|x)\)
- \([p(y=0|x),p(y=1|x),...,p(y=9|x)]\)
\(p(y|x)\epsilon [0,1]\)
\(\sum_{i=0}^{9}p(y=i|x)=1\)

\[p_i = \frac{e^{a_i}}{\sum_{k=1}^{N} e^{a_k}} \]

2. 交叉熵

2.1 信息熵

描述一个随机事件的不确定性。

\[H(p)=-\sum _{x\epsilon X}p(x)logp(x) \]

描述一个分布，熵越高，随机变量的信息越多。

import torch

a = torch.full([4],1/4.)
print(-(a*torch.log2(a)).sum())               # tensor(2.)

b = torch.tensor([0.1,0.1,0.1,0.7])
print(-(b*torch.log2(b)).sum())               # tensor(1.3568)

c = b = torch.tensor([0.001,0.001,0.001,0.999])
print(-(c*torch.log2(c)).sum())               # tensor(0.0313)