python
文章平均质量分 75
kejizuiqianfang
这个作者很懒,什么都没留下…
展开
-
BF16相比FP16的优点
BF16相比FP16的优点:-BF16和FP16都是两个字节,区别是指数位和小数位不一样原创 2024-06-07 18:28:24 · 754 阅读 · 0 评论 -
T5 fp16训练nan问题
T5为啥没法用fp16训练,为什么会出现nan问题原创 2024-06-07 18:06:35 · 411 阅读 · 0 评论 -
如何在centos上面安装mpi4py
如何在centos上安装mpi4py原创 2023-07-13 09:43:39 · 1235 阅读 · 0 评论 -
PyTorch Lightning入门教程(二)
pytorch lightning提供了比较方便的多GPU训练方式,同时包括多种策略和拓展库,比如ddp,fairscale等,下面将从单机多卡和多机多卡两个角度介绍。原创 2022-09-03 23:32:49 · 3985 阅读 · 1 评论 -
PyTorch Lightning入门教程(一)
因为最近在学习pytorch lightning,所以这里记录一下学习的内容,这一节记录简单的入门教程,下一节预计介绍如何进行多GPU训练。pytorch lightning作为pytorch的一个拓展架构,可以减少很多与数据处理以及模型搭建无关的代码,增加工程效率。因为在编写训练代码的时候,很多时候需要兼顾编写学习率的schedule代码,记录log的代码等等。实际上,模型相关代码可能需要的时间还不如调试这些辅助的代码所需要的时间。而pytorch lightning这类框架就可以解决上面的问题。原创 2022-08-22 10:58:48 · 4058 阅读 · 1 评论 -
Assertion `srcIndex < srcSelectDimSize` failed.
这里具体问题具体分析,我是在使用BERT预训练模型的时候遇到的这个错误,这个错误实际上是因为输入的文本长度太长了,比如我用的BERT-base最长支持512位,而我输入的长度大于了512,这个时候只需要截断输入的文本,保持输入的长度小于等于512,就可以正常运行了。参考网址:https://www.cnblogs.com/laozhanghahaha/p/13037595.html...原创 2020-08-03 12:34:55 · 9345 阅读 · 0 评论 -
pytorch, BERT, RuntimeError: CUDA error: device-side assert triggered
对于pytorch,在进行训练的时候,突然报了RuntimeError: CUDA error: device-side assert triggered错误,根据网上的大部分解决方案,这个错误一般是出现在“数组越界”的情况,这里不是说具体的真的是数组越界,只是泛指这一类的,访问的地址超过了最长范围了。 但是为了确定具体的错误,仅仅靠上面那个错误提示是不够的,所以我们想要它显示具体的错误信息,这个时候想要判断出错的地方,我们需要在运行代码的时候,在命令前面加上CUDA_LAUNCH_BLOCKING原创 2020-08-03 12:31:30 · 1660 阅读 · 0 评论 -
torchtext的简单教程
torchtext的使用目录torchtext的使用1.引言2.torchtext简介3.代码讲解3.1 Field3.2 Dataset3.4 使用Field构建词向量表3.3 Iteration4. 总结1.引言 这两天看了一些torchtext的东西, 其实torchtext的教程并不是很多,当时想着使用torchtext的原因就是, 其中提供了一个BucketIterator的桶排序迭代器,通过这个输出的批数据中,每批文本长度基本都是一致的,当时就感觉这个似原创 2020-06-09 19:40:03 · 4199 阅读 · 0 评论 -
Anaconda常用命令及简单教程
Anaconda常用命令本教程基本都是参考了来自知乎:猴子大神教程参考网址简单安装教程直接从anaconda官网,选择对应的版本下载即可,如果不懂直接一路默认就可以,反正最后也不会影响使用,毕竟你也不会经常使用命令行写python代码。环境管理创建环境conda create -n env_name python=3.6参数解释env_name你要创...原创 2019-07-16 12:42:41 · 381 阅读 · 0 评论 -
树莓派内存无故减少 lxpanel
生日的时候,女朋友送了一块树莓派玩。按道理来说,树莓派应该是适合长时间运行的。但是我发现我的这块树莓派运行几个月之后没内存了……真让人头大,重启之后又好了。一开始我以为是我写的那个控制风扇转动的代码有内存泄漏还是咋回事,不过按道理来说我用的python,也不应该出现内存泄漏。我又把交换内存变大了一点,然后后来也没理它。最近发现又出现这个问题了,用top命令查看之后发现有一个lxpanel进程...原创 2019-05-23 18:30:21 · 2863 阅读 · 5 评论 -
torchvision transform库学习总结
torchvision transform库学习总结参考了https://www.pytorchtutorial.com/docs/torchvision/torchvision-transform/首先,在torchvision transform库中,大致有以下几类方法1.一个类似数组的操作class torchvision.transforms.Compose(transforms)...原创 2019-04-01 14:55:45 · 4546 阅读 · 3 评论 -
python中对文件的操作总结
文件对象创建文本文件想文件中追加文本读取文本内容文件异常路径和目录 —-os简介文件对象1.创建文本文件def make_file(): f = open("test.txt", "w") f.write("Hello World") f.close()这段代码创建了一个test.txt的文件,并表明是写的属性(默认是读的属性)原创 2017-09-07 23:10:42 · 552 阅读 · 0 评论 -
python中的通配
通配是指一些特殊的字符,如?和*,可以用他们匹配许多名称类似的文件,例如使用P* 可以匹配所有以P开头的文件,使用*.txt 可以匹配所有以.txt结尾的文件。 使用python中的glob函数可以实现通配import globprint(glob.glob("F:\test_Python\\\*.txt"))可以匹配所有的以.txt结尾的文件下面列出来了通配模式中可以使用的通配符: 同时也可原创 2017-09-08 07:13:01 · 2960 阅读 · 0 评论 -
Python中的and和or运算
python中的and和or运算其实和别的语言是一样的,都遵循下面的原则:a and b:表示的是当a为True时,表达式的结果就是b;当a为False的时候,表达式的结果就是a,注意的是,这时的结果就是a,而a的值不一定是False,例如a=0的时候,a也表示False的含义a or b:表示的是a为True时,表达式的结果就是a;当a为False的时候,表达式的结取决于b,也就...原创 2018-06-25 15:44:07 · 6041 阅读 · 4 评论 -
KeyError: 'data'
KeyError:’data’这里是在实现李飞飞-深度学习与机器视觉课程的课后作业的时候遇到的问题。使用的代码是官方给出的代码,自己只是照着敲一遍,但是却出现了KeyError:’data’。 经过查询也没有发现问题所在。出错的代码是这一段def load_CIFAR_batch(filename): """ load single batch of cifar "&qu原创 2018-08-13 10:11:11 · 36634 阅读 · 24 评论 -
numpy.flatnonzero()
转载:https://www.cnblogs.com/eilearn/p/9014864.html 该函数输入一个矩阵,返回扁平化后矩阵中非零元素的位置(index)这是官方文档给出的用法,非常正规,输入一个矩阵,返回了其中非零元素的位置.>>> x = np.arange(-2, 3)>>> xarray([-2, -1, 0, 1, 2]...转载 2018-08-22 17:52:40 · 2655 阅读 · 1 评论 -
random.choice()
概述: 可以从一个int数字或1维array里随机选取内容,并将选取结果放入n维array中返回。说明:numpy.random.choice(a, size=None, replace=True, p=None)a : 1-D array-like or int If an ndarray, a random sample is generated from its e...转载 2018-08-22 17:55:48 · 5507 阅读 · 0 评论 -
python-numpy-dot()
转载:https://blog.csdn.net/qq_28618765/article/details/78083179 转载:https://www.cnblogs.com/luhuan/p/7925790.html说白了就是计算矩阵乘法的方法。但是对于(n, )维的向量,这个计算起来有点不一样,按照测试,我猜测对于(n, )维的向量,计算方法稍微有点不一样。比如说是(m ,n...原创 2018-08-23 11:07:31 · 444 阅读 · 0 评论 -
Ubuntu使用pycharm:ImportError: libcublas.so.9.0: cannot open shared object file
ImportError: libcublas.so.9.0: cannot open shared object file解决办法出现这个问题一般有好几个原因,下面将会一一讲解1.首先我们需要检查自己安装的tensorflow的版本和cuda的版本是否对应,例如这里的libcublas.so.9.0实际是指cuda9.0里面的一个依赖库,这里我抄了一份tensorflow和cuda的对应表(...原创 2019-03-02 14:23:57 · 1768 阅读 · 0 评论 -
Word2Vec详解-公式推导以及代码
这里写自定义目录标题Word2Vec详解Word2Vec_pythoncbow-hsskip-hscbow-nsskip-nsdistanceWord2Vec详解Word2Vec_pythoncbow-hsskip-hscbow-nsskip-nsdistanceWord2Vec_pythonThe Englist please refer to README经过一段...原创 2019-08-20 13:59:15 · 6021 阅读 · 13 评论