![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
SupCLA
Attention is all you need
展开
-
DeepLearning-深度学习中特征融合方式
这里写自定义目录标题从多源信息融合谈起,其主要是数据层、特征层和决策层,数据层融合计算开销大,但是不损失信息,另外两类都是在数据分析之后,损失了部分信息,但是操作性较高。在深度学习任务中,海量的结构化数据使得从数据层融合比较困难,另外,很多网络的connection(ResNet, DenseNet, Transformer等)设计也融合了单源信息的多尺度特征。基于这两点,深度学习任务(CV,NLP为代表)主要在深度特征信息层进行融合。主要分类:Point-wise addition / Eleme原创 2021-02-01 23:04:03 · 5982 阅读 · 0 评论 -
Pytorch-F函数(torch.nn.functional)和nn(torch.nn)的区别
torch.nn函数的实现去调用torch.nn.functional,实现方式是一致的。它们的区别是:nn函数可以写在深度学习模型的初始化中,F函数不可以,因为其需要输入实际的input例如nn.ReLu和F.relu原创 2021-01-30 00:57:06 · 3378 阅读 · 1 评论 -
Pytorch-巧用nn.Sequential包装你的深度学习结构
思路:自定义简单的tensor,将设计的深度学习的层包装到nn.Sequential中代码:import torchfrom torch import optim, nnimport torch.nn.functional as Fx = torch.Tensor([1, 2, 3, 4, 5]).reshape(1, 1, 5)padding_layer = torch.nn.ReflectionPad1dnet1 = nn.Sequential( padding_layer((1原创 2021-01-29 15:27:45 · 337 阅读 · 0 评论