HUSTHY的博客

自然语言处理任务中，模型的输入一般都是变长的。为了能够组成batch输入模型进行并行计算，都是要把变长的数据处理为等长的。之前都是自己手动padding来实现的，后面发现torch中已经有了相应的API能够高速快速的处理这样的问题，同时也能够处理好padding无意义的值带来的影响。下面就一起来看看torch.nn.utils.rnn中处理这些问题的API吧！一、pad_sequence二、pack_sequence三、pad_packed_sequence四、pack...

目录一、torch.utils.data.Dataset使用方法1、NLP中数据量不是很大情况2、图片和音频数据二、data.IterableDataset的使用方法做算法工程师工作以来，一直都是使用的pytorch框架，它提供了很方便的数据加载模块。很少接触到训练数据数据量巨大的情景，64G内存的机器采用Map加载方式(torch.utils.data.Dataset)一次性加载全部数据放在内存中也是能够做到的，训练效率也是比较高的，不需要每个batc...

如果需要指定多张显卡，比如0,1号显卡。这篇文章转载来自极市开发者社区，作者：Jack Stark@知乎，地址：http://bbs.cvmart.net/topics/1472?from=groupmessage&isappinstalled=0；总结的很全面，值得学习！目录1、基本配置2、张量处理3. 模型定义和操作多卡同步 BN（Batch normaliz...

torch模型保存和加载中的一些问题记录注意模型打开的问题————一个torch.load()参数问题单卡训练和保存多卡训练和保存————保存模型所有，保存模型参数

学习Bert模型的时候，需要使用到pytorch来进行tensor的操作，由于对pytorch和tensor不熟悉，就把pytorch中常用的、有关tensor操作的unsqueeze()、squeeze()、expand()、view()、cat()和repeat()等函数做一个总结，加深记忆。1、unsqueeze()和squeeze()torch.unsqueeze(...

有一些NLP任务中需要实现一些小功能，还是不是很熟练，但是自己写起来又有点难度，故此记录下来。以后每遇到新的就添加上来——不定时更新添加！1、由predictions和labels计算准确率、正确率、recall和F1#准确率的计算correct += (predict == label).sum().item()total += label.size(0)trai...