PaddleOCR使用单机多卡训练

最新推荐文章于 2024-06-23 15:29:07 发布
最新推荐文章于 2024-06-23 15:29:07 发布
阅读量1.5k 收藏
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59484615/article/details/124630316
版权

我训练的是paddleocr检测的部分，在使用多卡训练的时候不让用，而且在验证paddle的时候告诉我只可以用一个卡，再次尝试使用多卡训练的时候就出来了一下的错误

ABORT!!! Out of all 2 trainers, the trainer process with rank=[1] was aborted. Please check its log.

解决方法：

安装NCCL

        官网:Installation Guide :: NVIDIA Deep Learning NCCL Documentation

本人在上面使用的是本地安装，在网络安装的时候遇到了很多的问题，apt update一直报错

参考：ubuntu 安装 nccl(最全)_Xavier学长的博客-CSDN博客_nccl安装

m0_59484615
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PaddleOCR 文字检测/文字块检测的模型训练过程，DBnet的前处理和后处理流程损失函数
q742971636的博客
03-16 3739
该方法返回一个包含增强后的关键点的 imgaug.KeypointsOnImage 对象，然后将这些点的坐标转换回原始多边形的形式，最后返回增强后的多边形。首先，通过调用 crop_area 函数计算出一个合适的裁剪区域，该函数会根据输入的 all_care_polys 参数（即所有不被标记为忽略的文本框）和裁剪区域的最小边长比例 min_crop_side_ratio，随机生成多个裁剪区域并返回其中包含至少一个文本框的那个区域。增强器对象首先被转换为确定性的，然后对输入图像进行增强，返回增强后的图像。
PaddleOCR识别框架解读[09] 文本识别--从训练到部署全流程
我是天才很好
03-08 219
PaddleOCR识别框架解读[09] 文本识别--从训练到部署全流程
关于PaddleOCR使用踩坑
shuaishishi的博客
03-11 2724
PaddleOCR踩坑实录，帮你解决疑难杂症
[paddle]多卡训练bug记录，ABORT,,,Out of all 4 trainers
iterhuiの博客
05-02 2353
abort,out of all 4 trainers, the trainer process with rank=[1, 2, 3] was aborted. please check its log.
[paddleocr]文字识别训练
最新发布
futureflsl的博客
06-23 1139
训练集txt文件中默认请将图片路径和图片标签用 \t 分割，如用其他方式分割将造成训练报错。" 图像文件名 图像标注信息 "train_data/rec/train/word_001.jpg 简单可依赖train_data/rec/train/word_002.jpg 用科技让复杂的世界更简单...最终训练集应有如下文件结构：|-rec|- train| ...
PaddleOCR多机多卡分布式训练指南 | 基于Ubuntu18.04
Andrwin的博客
10-12 2787
一、项目背景 生僻字的fine-tune不能简单的使用几百个数据训练一下，这样会让之前学习到的忘掉。 怎么办呢，就只能加大数据量，在git上提了issue以后简单了解到了以下内容： - 数据量要大 最少几百万条数据 - 对于生僻字的覆盖要均匀 每个字最少出现200次以上 - 场景尽量多样 可以做合成数据 于是我就用前面的博客写的生僻字数据集制作，简单做了40w数据。 我有两台2080，又没有办法把两个2080放在一个主板上，那么故事就开始了。 二、环境配置 首先要满足单机多卡或者单机单卡没
PaddleOCR训练自己的数据
zyb的博客
12-29 1万+
一 、数据准备 采用PPOCRLabel标注自己的数据 PPOCRLabel是一款适用于OCR领域的半自动化图形标注工具，内置PP-OCR模型对数据自动标注和重新识别。使用Python3和PyQT5编写，支持矩形框标注和四点标注模式，导出格式可直接用于PaddleOCR检测和识别模型的训练。 1.1 安装PaddlePaddle pip3 install --upgrade pip # 如果您的机器安装的是CUDA9或CUDA10，请运行以下命令安装 python3 -m pip in.
基于PaddleOCR实现车牌识别
weixin_38029956的博客
07-21 4776
CCPD车牌数据集来源于Git里面。https是采集人员在合肥停车场采集、手工标注得来，采集时间在早730到晚1000之间。且拍摄车牌照片的环境复杂多变，包括雨天、雪天、倾斜、模糊等。类别说明ccpd_base正常车牌ccpd_db光线较暗或较亮比较有挑战性的车牌ccpd_fn距离摄像头较远或较近ccpd_np没上牌的新车水平倾斜20%-50%，垂直倾斜-10%-10%ccpd_tilt水平倾斜15%-45%，垂直倾斜15%-45%雨天、雪天或者雾天的车牌注和。...
PaddleOCR使用
kessity的博客
04-08 2万+
目录一 快速安装1 win10安装二 paddleocr package使用说明1 安装whl包2 代码使用 一 快速安装   本节内容来自这里。 1 win10安装 2. 安装PaddlePaddle Fluid v2.0 pip3 install --upgrade pip 如果您的机器安装的是CUDA9或CUDA10，请运行以下命令安装 python3 -m pip install paddlepaddle-gpu==2.0.0b0 -i https://mirror.baidu.com/pypi/
【深度学习框架-Paddle】丝滑安装PaddlePaddle,无缝衔接使用多卡
桐原因的博客
01-30 2141
但是，PaddlePaddle安装问题一直都困扰着我，什么````C++```报错了、什么不能使用多卡了，不同Linux环境安装后报错也各不相同。怎么样，才能让Paddle安装像torch那么丝滑，开箱即用，而不是陷入各种报错当中，在不断摸索的过程中，也渐渐看到了方向。某一天，在PaddleNLP文档上查看资料，看到PaddleCloud开源了基于Paddle的镜像，可开箱即用。出现了上面的结果，说明安装成功，但是只能使用单卡，虽然不能使用多卡，但是勉强用着吧，，说明Paddle完全安装成功，没有问题了。
单机多卡训练
wang2008start的专栏
04-28 1778
启动方式的修改 单机单卡的启动 python run.py --model bert 单机多卡的启动，2是卡的个数 python -m torch.distributed.launch --nproc_per_node 2 run.py --model bert 卡的设置方式修改 上面改成分布式启动后，会自动传 local_rank 参数给程序，我们需要解析收到的 local_rank参数并进行设置 parser.add_argument("--local_rank", type=in.
PaddleOCR识别框架解读[07] 文本检测--从训练到部署全流程
我是天才很好
03-08 154
PaddleOCR识别框架解读[07] 文本检测--从训练到部署全流程
更快更简单|飞桨PaddlePaddle单机训练速度优化最佳实践
oudifuf的博客
12-26 390
导读：飞桨（PaddlePaddle）致力于让深度学习技术的创新与应用更简单。在单机训练速度方面，通过高并行、低开销的异步执行策略和高效率的核心算子，优化静态图训练性能，在Paddle Fluid v1.5.0的基准测试中，在7个典型模型上进行了测试（图像领域5个，NLP领域2个），其中5个模型的速度显著优于对标框架（大于15%），2个模型与对标框架持平（5%之内）。如果想让单机训练速度更快，可以...
fatal error: ‘Segmentation fault‘ is detected by the operating system
北风吹过的秋
03-13 4472
PaddleNLP实战——LIC2021事件抽取任务基线（附代码）
南有芙蕖
04-09 5748
LIC2021事件抽取任务基线 目录LIC2021事件抽取任务基线一、篇章级事件抽取基线1.1 评测方法1.2 快速复现基线Step1：数据预处理并加载1.3 快速复现基线Step2：构建模型1.4 快速复现基线Step3：数据处理1.5 快速复现基线Step4：定义损失函数和优化器，开始训练1.6 快速复现基线Step5：数据后处理，提交结果二、句子级事件抽取基线2.1 评测方法三、Tricks3.1 尝试更多的预训练模型3.2 修改模型网络结构3.3 模型集成参考资料 论文阅读：DuEE:A Large
MPI 并行计算出现的问题！！！(已解决)
热门推荐
yhsweetlife的专栏
06-26 6万+
he@yuanhe:~/nfs_he$ mpirun -f nodes -n 3 ./example1 rank :0 ,source: -1 ,dest: 1 rank :2 ,source: 1 ,dest: 0 Fatal error in MPI_Send: Unknown error class, error stack: MPI_Send(174)..............:
redis.conf配置详细解析
weixin_30416497的博客
04-13 564
- # redis 配置文件示例 # 当你需要为某个配置项指定内存大小的时候，必须要带上单位， # 通常的格式就是 1k 5gb 4m 等酱紫： # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes # 1mb => 1024*1024 bytes # 1g =>...
使用pytorch分布式进行训练的时候发生的错误
u013157943的博客
05-25 3779
在进行分布式训练的时候遇到这个错，不知道怎么解决，先记录一下 Traceback (most recent call last): File "my_train.py", line 194, in <module> main(parser.parse_args()) File "my_train.py", line 75, in main backbone = torch.nn.parallel.DistributedDataParallel( File "/roo
单机多卡训练和单机多卡分布式训练的区别
06-02
单机多卡训练和单机多卡分布式训练都是在单台机器上使用多个GPU进行训练，但它们之间有一些区别。 单机多卡训练是指在单台机器上使用多个GPU进行训练，每个GPU都拥有一份完整的模型，但是输入数据被切分成多份，每份数据在不同的GPU上进行计算，最后再将计算结果进行合并。这种方式可以充分利用机器的计算资源，提高训练速度。 单机多卡分布式训练是指在单台机器上使用多个GPU进行训练，在多个进程或线程中进行训练，每个进程或线程使用不同的GPU设备。这种方式可以减少通信开销，提高训练效率。在单机多卡分布式训练中，需要使用分布式训练框架，如Horovod、NCCL等，来管理多个进程或线程之间的通信和同步，并使用MPI协议进行跨进程或线程通信。 总的来说，单机多卡训练和单机多卡分布式训练都可以充分利用单台机器的计算资源，提高训练效率。选择哪种方式取决于具体的训练需求和实际环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值