深度学习
CrystalheartLi
路漫漫其修非常远兮,吾将上下左右前后而求索。
展开
-
ValueError: Connection error, and we cannot find the requested files in the cached path. Please...
Python使用transformers包的以下l两个函数加载bert时候,BertTokenizer.from_pretrained(bert_path)BertModel.from_pretrained(bert_path)报错:ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet c原创 2022-04-12 09:52:25 · 14762 阅读 · 7 评论 -
pytorch线性回归模型的创建、调用方法实例
写代码的思路为:首先导入torch.nn库,然后基于继承nn.Module的方法构建深度学习模块。整个模块的函数主要由两部分组成:通过__init__方法初始化整个模型,forward方法对该模型进行前向计算。其中,在使用__init__方法的时候,可以在类内部初始化子模块,然后在forward方法中调用这些初始化的子模块,最后输出结果张量。具体例子如下:import torchimport torch.nn as nnclass LinearModel(nn.Module): def原创 2021-05-11 21:45:40 · 471 阅读 · 0 评论 -
解决‘Hint: If you want to see a list of allocated tensors when OOM happens, add ................‘
tensorflow-gpu运行ner模型的训练代码,出现报错如下图:主要原因是显卡的显存不够。解决方法:1,降低训练的数据输入批次值大小:batch_size2, 将模型放到gpu显存大的服务器上跑Done!!!原创 2021-05-10 14:43:01 · 1102 阅读 · 0 评论 -
tensorflow.python.framework.errors_impl.DataLossError:Unable to open table file xxx perhaps ........
tensorflow加载预训练模型报错:tensorflow.python.framework.errors_impl.DataLossError: Unable to open table file /home/chinese_L-12_H-768_A-12/bert_model.ckpt.data-00000-of-00001: Data loss: not an sstable (bad magic number): perhaps your file is in a different file原创 2021-05-10 13:43:08 · 2434 阅读 · 0 评论 -
解决报错“The name tf.train.Optimizer is deprecated. Please use tf.compat.v1.train.Optimizer instead“
我用tensorflow_gpu2.0以上版本和1.14版本跑一个项目均报这个错误。后来降低到tensorflow_gpu1.5版本,又报错:然后我又把版本降低到1.10,就不出错了。注意tensorflow版本改变后需要看是否cuda还与之匹配,点此查看tensorflow-gpu与cuda等环境对应版本所以,tensorflow_gpu很有可能在1.11,1.12,1.13版本的时候更改了tf.train.Optimizer的接口,具体在哪个版本改得我还不明确,希望有大神看见留言解答。Don原创 2021-05-07 14:01:51 · 4937 阅读 · 0 评论 -
tensorflow_gpu与python、cuda、cudnn、gcc对应版本--官方最新
1,点击进入官方网址查看最新2,截至本文发表之前:Done!!!原创 2021-05-07 13:57:42 · 1801 阅读 · 1 评论 -
yolov4:pytorch报错“RuntimeError: CUDA error: no kernel image is available for execution on the device
具体报错信息如下:先前遇到过因为apex包的问题报过这个错,后来重新编译安装了apex后解决了问题,但现在又遇到这个问题,目前还没有解决,希望有大神给解答!原创 2021-04-30 14:18:55 · 957 阅读 · 3 评论 -
多显卡服务器下pytorch 指定某个 gpu训练与多 gpu并行训练的方法
一 . 指定一个 gpu训练的两种方法:1.代码中指定import torchtorch.cuda.set_device(id)2.终端中指定CUDA_VISIBLE_DEVICES=id python 程序名其中id是gpu编号二 . 多 gpu并行训练:bashtorch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)该函数实现了在module级别上的数据并行使用,注意batch size要大原创 2021-04-26 10:08:15 · 968 阅读 · 2 评论 -
用yolov4训练自己的目标检测模型-基于pytorch实现
1,首先下载yolov4模型文件2,准备数据集在下载好的yolov4文件夹的同级目录下创建projects/YOLO文件夹,然后将自己标注好的数据放入文件夹,最后的目录结构如下图(为了方便,每个文件夹及文件中只保留了3条数据)其中imgs文件夹下为原图像文件lables文件夹是存放标签的文件夹,每个txt文件下的内容类似这样:imgs.cache先不用管train.txt和val.txt存放了训练集图像路径和验证集图像路径,二个txt文件下的内容均类似这样:3,修改配置文件修改data原创 2021-04-20 15:38:31 · 1749 阅读 · 1 评论 -
简单地使用yolov5s训练自己的轻量级目标检测模型-基于pytorch实现
1,首先下载模型代码2,修改dataset_directory文件夹中的内容,下图为目录结构:为了方便展示,我只保留了3条数据,annotations文件夹是标注好的xml文件原创 2021-04-15 16:31:26 · 1432 阅读 · 0 评论 -
报错“Cannot load cudnn shared library. Cannot invoke method cudnnGetVersion at (/paddle/paddle/fluid/“
一,问题:安装好paddlepaddle-gpu后使用以下代码测试GPU是否可用:import paddlepaddle.fluid.install_check.run_check()但是报错:二,问题出现原因:libcudnn和libcublas的软连接没有添加到shared library中三,解决办法:1,查找libcudnn.so和libcublas.so的位置:分别执行sudo find / -name libcudnn.so*和sudo find / -name libcu原创 2021-01-11 16:53:36 · 2646 阅读 · 0 评论 -
安装cuda报错:./cuda-installer: error while loading shared libraries: libxml2.so.2
在docker内安装cuda11.1时报如下错:解决办法:$ apt update$ apt install libxml2Done!原创 2021-01-10 11:31:48 · 4082 阅读 · 0 评论 -
CUDA Driver Version和CUDA Runtime Version的区别
一,首先理解清楚CUDA Driver Version和CUDA Runtime Version的区别:1,CUDA Driver Version是跟nvidia的GPU驱动(nvidia-driver)绑定在一起的:就是在上图这个位置或者你在终端通过命令更新下载驱动后,再执行nvidia-smi得到如下图中右上角显示的cuda版本,例如我的:上图表明:我现在的驱动版本是440.95.01,可以支持<=10.2版本的cuda2,CUDA Runtime Version是你自己在系统上安装的原创 2020-12-11 19:50:21 · 15248 阅读 · 0 评论