pytorch深度学习
icebird_craft
Hi!
展开
-
21AAAI_Label Confusion Learning to Enhance Text Classification Models阅读笔记
# Main Contribution* propose a novel label confusion model (LCM) as an effective enhancement component for text classification. It can be applied to mainstream deep learning models without changing its structure and require no extra computation cost in p原创 2021-11-29 10:35:02 · 365 阅读 · 0 评论 -
报错:UserWarning: Mixed memory format inputs detected while calling the operator. The operator will o
解决方案在tesnor进行了permute操作之后,对tensor执行contiguous()例如ch_emb = ch_emb.permute(0, 3, 1, 2).contiguous()原创 2021-02-21 11:47:59 · 3391 阅读 · 0 评论 -
验证集的loss问题
讨论模型训练过程中验证的loss的”不正常“现象原创 2021-02-13 20:01:21 · 1678 阅读 · 0 评论 -
神经网络的强大变种
由于深度学习的迅速发展,现在基于传统的RNNs、CNN、FFNN、attention的工作效果,基于经典模型的本身的改进在顶会中竞争能力可能不再powerful。在github上有一个仓库正在专门进行对强大的变种神经网络的paper及其pytorh、tensorflow源代码的收集整理工作,链接如下:https://github.com/Ruifeng-Tan/More_Powerful_NN...原创 2021-02-01 21:28:17 · 255 阅读 · 0 评论 -
关于mask的一些操作
关于mask的一些操作本文库环境:pytorch 1.6.0transformers库 博主是一个刚刚开始做科研的科研菜鸡,在我目前的印象里,把mask用火的就是Bert了,现在的NLP task也多基于Bert系列的embedding,当我们进行具体工作时,如果想要对Bert的embedding进行进一步的妙用,就很容易接触到自己mask一些embedding了。除了mask,我们还有可能需要自己添加一些特殊的token。注意:如果添加的token频繁出现,可能就不是简单的fine-tuni原创 2021-01-28 18:00:43 · 1040 阅读 · 0 评论 -
深度学习实战(8)pytorch的矩阵操作
pytorh矩阵乘法介绍原创 2021-01-23 23:56:47 · 1185 阅读 · 0 评论 -
深度学习实战 (7) 解决pytorch多GPU训练gru时的hx is not contiguous报错
解决pytorch多GPU训练gru时的hx is not contiguous报错和UserWarning: RNN module weights are not part of signle contiguous chunk of memory原创 2020-12-20 11:23:12 · 1761 阅读 · 1 评论 -
如何在ssh连接断开仍能继续神经网络训练
如何在ssh连接断开仍能继续神经网络训练原创 2020-09-30 22:18:47 · 1859 阅读 · 0 评论 -
深度学习实战(6)如何fine-tuning Roberta
对Roberta进行fine-tuning原创 2020-09-15 10:54:37 · 1738 阅读 · 1 评论 -
深度学习实战(5)NLP数据预处理
NLP工程师必须掌握自然语言数据的预处理技巧:包括truecase, stopwords removel等等原创 2020-09-15 00:35:40 · 1960 阅读 · 0 评论 -
深度学习实战(4)如何向BERT词汇表中添加token,新增特殊占位符
向BERT词汇表中添加新词汇,新token原创 2020-09-11 19:09:33 · 13233 阅读 · 3 评论 -
深度学习实战(3)transformers使用BERT和Roberta做embedding
Pytorch使用最新框架transformers做BERT以及Roberta的embedding原创 2020-09-10 23:49:35 · 11458 阅读 · 8 评论 -
深度学习实战(2)用Pytorch搭建双向LSTM
用Pytorch搭建双向LSTM应最近的课程实验要求,要做LSTM和GRU的实验效果对比。LSTM的使用和GRU十分相似,欢迎参考我的另外一篇介绍搭建双向GRU的Blog:https://blog.csdn.net/icestorm_rain/article/details/108395515参考Pytorch介绍LSTM的官方文档:其中其定义层时的参数声明方法与GRU完全一致:所以,我定义LSTM使用以下代码:torch.nn.LSTM(out_channels, hidden_size, n原创 2020-09-10 19:36:20 · 11899 阅读 · 0 评论 -
深度学习实战(1)用Pytorch搭建一个双向GRU
一个用Pytorch搭建双向GRU的课程实践原创 2020-09-03 23:55:41 · 13104 阅读 · 9 评论