学习笔记
文章平均质量分 68
ayayayayo
这个作者很懒,什么都没留下…
展开
-
Linformer: Self-Attention with Linear Complexity
Linformer: Self-Attention with Linear ComplexityFAIR NIPS 2020Abstract Because of the standard self-attention mechanism of transformer uses O(n2)O(n^2)O(n2) time and space with respect to sequence length, this paper demonstrates that self-attention m原创 2020-11-14 17:14:35 · 795 阅读 · 0 评论 -
Longformer: The Long-Document Transformer
Longformer: The Long-Document TransformerAllen AI 研究院AbstractLongformer提供了一种attention机制,可以直接作为传统transformer的替代。Longformer的attention由local window attention + global attention组成。Task:MLMDataset:text8 and enwik8Introduction动机1: transformer的有效性,但却有平方原创 2020-11-14 17:08:18 · 1101 阅读 · 1 评论 -
【Pytorch】关于使用torchvision下载mnist数据集速度过慢的解决方案
下载数据集之后,torchvision还会对数据集进行一些处理,将这些数据转换为.pt格式的文件,所以我们不能直接手动下载数据集然后放到相应的文件夹中,这会产生报错。【解决方法】手动下载好相应的数据集放到相应文件夹中把自己电脑上已经下载好的数据集的文件路径放到浏览器的窗口,然后转到这个地址,就可以得到如下:把源代码中的网址替换成本地的文件地址即替换为运行程序出现以下字样即成功。Processing…Done!【总结】不仅仅是mnist数据集,其他数据集下载速度过.原创 2020-08-05 11:03:33 · 1912 阅读 · 1 评论 -
【Pytorch】torchvision.utils.save_image直接保存tensor为图片
一般来说,需要将tensor转变为numpy类型的数组从而保存图片,这样的过程比较繁琐,Pytorch提供了save_image()函数,可直接将tensor保存为图片,若tensor在cuda上也会移到CPU中进行保存。)参数:tensor (Tensor or list): Image to be saved. If given a mini-batch tensor, saves the tensor as a grid of images by calling make_grid.**.原创 2020-08-05 10:20:38 · 40287 阅读 · 3 评论