深度学习
文章平均质量分 84
kejizuiqianfang
这个作者很懒,什么都没留下…
展开
-
BF16相比FP16的优点
BF16相比FP16的优点:-BF16和FP16都是两个字节,区别是指数位和小数位不一样原创 2024-06-07 18:28:24 · 773 阅读 · 0 评论 -
T5 fp16训练nan问题
T5为啥没法用fp16训练,为什么会出现nan问题原创 2024-06-07 18:06:35 · 412 阅读 · 0 评论 -
PyTorch Lightning入门教程(二)
pytorch lightning提供了比较方便的多GPU训练方式,同时包括多种策略和拓展库,比如ddp,fairscale等,下面将从单机多卡和多机多卡两个角度介绍。原创 2022-09-03 23:32:49 · 3987 阅读 · 1 评论 -
PyTorch Lightning入门教程(一)
因为最近在学习pytorch lightning,所以这里记录一下学习的内容,这一节记录简单的入门教程,下一节预计介绍如何进行多GPU训练。pytorch lightning作为pytorch的一个拓展架构,可以减少很多与数据处理以及模型搭建无关的代码,增加工程效率。因为在编写训练代码的时候,很多时候需要兼顾编写学习率的schedule代码,记录log的代码等等。实际上,模型相关代码可能需要的时间还不如调试这些辅助的代码所需要的时间。而pytorch lightning这类框架就可以解决上面的问题。原创 2022-08-22 10:58:48 · 4078 阅读 · 1 评论 -
prompt模板模式总结记录
文章目录prompt模板模式总结记录完形填空模式Language Models as Knowledge BasesmotivationLAMA Probe数据集实验结果Template-Based Named Entity Recognition Using BARTmotivation构造模板实验结果前缀模式Prefix-Tuning: Optimizing Continuous Prompts for Generationmotivation实现方式实验结果GPT Understands, Toomo原创 2022-04-07 22:41:03 · 4653 阅读 · 6 评论 -
RCNN详细介绍 Rich feature hierarchies for accurate object detection and semantic segmentation
Rich feature hierarchies for accurate object detection and semantic segmentationPublisher: CVPR 2014论文链接目录Rich feature hierarchies for accurate object detection and semantic segmentation1.概述2.整体过程2.1 模型的大概整体过程2.2 Bbox2.3 IoU2.4 非极大值抑制2.5 har原创 2020-08-18 15:13:46 · 225 阅读 · 0 评论 -
Assertion `srcIndex < srcSelectDimSize` failed.
这里具体问题具体分析,我是在使用BERT预训练模型的时候遇到的这个错误,这个错误实际上是因为输入的文本长度太长了,比如我用的BERT-base最长支持512位,而我输入的长度大于了512,这个时候只需要截断输入的文本,保持输入的长度小于等于512,就可以正常运行了。参考网址:https://www.cnblogs.com/laozhanghahaha/p/13037595.html...原创 2020-08-03 12:34:55 · 9348 阅读 · 0 评论 -
pytorch, BERT, RuntimeError: CUDA error: device-side assert triggered
对于pytorch,在进行训练的时候,突然报了RuntimeError: CUDA error: device-side assert triggered错误,根据网上的大部分解决方案,这个错误一般是出现在“数组越界”的情况,这里不是说具体的真的是数组越界,只是泛指这一类的,访问的地址超过了最长范围了。 但是为了确定具体的错误,仅仅靠上面那个错误提示是不够的,所以我们想要它显示具体的错误信息,这个时候想要判断出错的地方,我们需要在运行代码的时候,在命令前面加上CUDA_LAUNCH_BLOCKING原创 2020-08-03 12:31:30 · 1660 阅读 · 0 评论 -
torchtext的简单教程
torchtext的使用目录torchtext的使用1.引言2.torchtext简介3.代码讲解3.1 Field3.2 Dataset3.4 使用Field构建词向量表3.3 Iteration4. 总结1.引言 这两天看了一些torchtext的东西, 其实torchtext的教程并不是很多,当时想着使用torchtext的原因就是, 其中提供了一个BucketIterator的桶排序迭代器,通过这个输出的批数据中,每批文本长度基本都是一致的,当时就感觉这个似原创 2020-06-09 19:40:03 · 4199 阅读 · 0 评论 -
XLNet论文解读+部分代码解读
目录XLNet Generalized Autoregressive Pretraining1.Motivation2.自回归语言模型和自编码语言模型2.1 自回归语言模型2.2 自编码语言模型3.XLNet的主要改进3.1 Permutation Language Modeling3.2 双流自我注意力结构3.2.1 attention mask3.2.2 其余的双流操作3.2.3 XLNet的...原创 2019-12-16 17:52:18 · 1301 阅读 · 0 评论 -
GLUE数据集下载(Bert,XLNet等使用数据集)
GLUE数据集下载GLUE数据集官方网址:https://gluebenchmark.com/tasks下载方式:https://github.com/nyu-mll/GLUE-baselines因为这些GLUE的官网在国外,而GitHub上面的下载地址也在国外,所以你过你可以翻出去的话,下载不成问题,如果翻不出去的话,你可以用下面的我上传的链接下载:...原创 2019-12-16 17:05:51 · 3732 阅读 · 1 评论 -
pytorch多gpu训练,单机多卡,多机多卡
pytorch多gpu并行训练暂时只是使用了单机多卡的GPU进行测试, 并没有使用多机多卡, 这里只简述了如何使用DistributedDataParallel代替DataParalleltorch.nn.DataParallel 我一般在使用多GPU的时候, 会喜欢使用os.environ['CUDA_VISIBLE_DEVICES']来限制使用的GPU个数, 例如我要使用第0和第3编号...原创 2019-10-09 09:42:33 · 10519 阅读 · 15 评论 -
pytorch中如何在lstm中输入可变长的序列
pytorch中如何在lstm中输入可变长的序列pytorch中如何在lstm中输入可变长的序列torch.nn.utils.rnn.pad_sequence()torch.nn.utils.rnn.pack_padded_sequence()torch.nn.utils.rnn.pad_packed_sequence()pytorch中如何在lstm中输入可变长的序列我在做的时候主要参考了这...原创 2019-09-15 13:11:48 · 22055 阅读 · 27 评论 -
pytorch如何使用预训练的词向量
如何在pytorch中使用word2vec训练好的词向量torch.nn.Embedding() 这个方法是在pytorch中将词向量和词对应起来的一个方法. 一般情况下,如果我们直接使用下面的这种:self.embedding = torch.nn.Embedding(num_embeddings=vocab_size, embedding_dim=embeding_dim)num_...原创 2019-09-14 20:44:29 · 10653 阅读 · 9 评论 -
neo4j如何导入csv文件
neo4j如何导入csv文件本文只适合于Windows系统,并没有在mac os中测试。此外,如果是win7,运行neo4j和导入csv等均会报错,主要原因是neo4j的配置文件中的路径有问题,将一些路径改成绝对路径即可,直接将错误复制到百度里面,就可以得到解决方法下面开始教程如果打开了neo4j,那么需要先关掉neo4j的服务,直接在命令行中ctrl + c即可,不建议直接关闭命令行窗口...原创 2019-08-10 15:49:16 · 5120 阅读 · 5 评论 -
Word2Vec详解-公式推导以及代码
这里写自定义目录标题Word2Vec详解Word2Vec_pythoncbow-hsskip-hscbow-nsskip-nsdistanceWord2Vec详解Word2Vec_pythoncbow-hsskip-hscbow-nsskip-nsdistanceWord2Vec_pythonThe Englist please refer to README经过一段...原创 2019-08-20 13:59:15 · 6023 阅读 · 13 评论 -
torchvision transform库学习总结
torchvision transform库学习总结参考了https://www.pytorchtutorial.com/docs/torchvision/torchvision-transform/首先,在torchvision transform库中,大致有以下几类方法1.一个类似数组的操作class torchvision.transforms.Compose(transforms)...原创 2019-04-01 14:55:45 · 4547 阅读 · 3 评论 -
机械革命 安装Ubuntu16+win10双系统 配置GTX960m显卡
机械革命 安装Ubuntu16+win10双系统 配置GTX960m显卡为了安装这个双系统,使用了我两天的时间,重装十几次,重启,强制关机几十次首先说一下我的电脑的配置和型号机械革命-X6TI-M2CPU : I7-6700HQGPU : GTX960m内存 :16G硬盘:128G+256G+1TB 分别是建兴,西部数据 ,日立硬盘本次安装在128G固态硬盘中,系统版本是...原创 2019-03-02 16:27:01 · 2605 阅读 · 0 评论 -
Ubuntu使用pycharm:ImportError: libcublas.so.9.0: cannot open shared object file
ImportError: libcublas.so.9.0: cannot open shared object file解决办法出现这个问题一般有好几个原因,下面将会一一讲解1.首先我们需要检查自己安装的tensorflow的版本和cuda的版本是否对应,例如这里的libcublas.so.9.0实际是指cuda9.0里面的一个依赖库,这里我抄了一份tensorflow和cuda的对应表(...原创 2019-03-02 14:23:57 · 1769 阅读 · 0 评论