DBNet实战:详解DBNet训练与测试(pytorch)(1),一份字节跳动面试官给你的Python技术面试指南

本文讲述了在图像转录挑战中,如何使用深度学习技术如ResNet18_FPN_DBhead_polyLR进行自动定位和文本边界框提取的过程,包括数据集预处理、脚本编写、配置参数调整以及训练和测试的具体步骤。
摘要由CSDN通过智能技术生成

x1, y1, x2, y2, x3, y3, x4, y4, transcription

请注意,第八个逗号后面的任何内容都是转录的一部分,并且不使用转义字符。 “不关心”区域在基本事实中以“###”的转录表示。 作者将被要求自动定位图像中的文本并返回边界框。 结果必须在每个图像的单独文本文件中提交,每行对应于上述格式的边界框(逗号分隔值)。 应提交包含所有结果文件的单个压缩(zip 或 rar)文件。 如果您的方法无法为图像生成任何结果,您可以包含一个空的结果文件或根本不包含任何文件。 与挑战 1 和 2 不同,结果的评估将基于单一的 Intersection-over-Union 标准,阈值为 50%,类似于对象识别和 Pascal VOC 挑战 [1] 中的标准做法。

数据集下载完成后可以得到四个文件,如下图:

image-20220401164158737

将ch4_training_images.zip解压到./datasets\train\img下面。

将ch4_training_localization_transcription_gt.zip解压到./datasets\train\gt下面。

将ch4_test_images.zip解压到./datasets\test\img下面。

将Challenge4_Test_Task1_GT.zip解压到./datasets\test\gt下面。

接下来对数据集做预处理,作者写Ubuntu系统下的处理脚本generate_lists.sh,所以如果用的系统是UBuntu,则执行脚本即可

bash generate_lists.sh

image-20220401165201338

如果是Win10平台则需要写python脚本。新建getdata.py,插入代码:

import os

def get_images(img_path):

‘’’

find image files in data path

:return: list of files found

‘’’

files = []

exts = [‘jpg’, ‘png’, ‘jpeg’, ‘JPG’, ‘PNG’]

for parent, dirnames, filenames in os.walk(img_path):

for filename in filenames:

for ext in exts:

if filename.endswith(ext):

files.append(os.path.join(parent, filename))

break

print(‘Find {} images’.format(len(files)))

return sorted(files)

def get_txts(txt_path):

‘’’

find gt files in data path

:return: list of files found

‘’’

files = []

exts = [‘txt’]

for parent, dirnames, filenames in os.walk(txt_path):

for filename in filenames:

for ext in exts:

if filename.endswith(ext):

files.append(os.path.join(parent, filename))

break

print(‘Find {} txts’.format(len(files)))

return sorted(files)

if name == ‘main’:

import json

img_train_path = ‘./datasets/train/img’

img_test_path = ‘./datasets/test/img’

train_files = get_images(img_train_path)

test_files = get_images(img_test_path)

txt_train_path = ‘./datasets/train/gt’

txt_test_path = ‘./datasets/test/gt’

train_txts = get_txts(txt_train_path)

test_txts = get_txts(txt_test_path)

n_train = len(train_files)

n_test = len(test_files)

assert len(train_files) == len(train_txts) and len(test_files) == len(test_txts)

with open(‘train.txt’, ‘w’) as f:

with open(‘./datasets/train.txt’, ‘w’) as f:

for i in range(n_train):

line = train_files[i] + ‘\t’ + train_txts[i] + ‘\n’

f.write(line)

with open(‘./datasets/test.txt’, ‘w’) as f:

for i in range(n_test):

line = test_files[i] + ‘\t’ + test_txts[i] + ‘\n’

f.write(line)

逻辑不复杂,分别将train和test的img文件列表和gt文件列表对应起来保存到train.txt和test.txt中。

完成上面数据的处理就可以开始训练了

训练

=============================================================

到这里已经完成大部分的工作了,只需要对config文件参数做适当的修改就可以开始训练了。

本次训练使用的config文件是./config/icdar2015_resnet18_FPN_DBhead_polyLR.yaml,修改学习率、优化器、BatchSize等参数,如下图:

image-20220401172814213

image-20220401172902765

上面用红框标注的参数,大家根据实际的情况做修改,我的卡是3090,BatchSize设置32.

参数设置完成后,就开启训练,在pycharm的Terminal下面执行:

CUDA_VISIBLE_DEVICES=0 python tools/train.py --config_file “config/icdar2015_resnet18_FPN_DBhead_polyLR.yaml”

image-20220401173250266

测试

=============================================================

打开./tools/predict.py,查看参数:

def init_args():

import argparse

parser = argparse.ArgumentParser(description=‘DBNet.pytorch’)

parser.add_argument(‘–model_path’, default=r’model_best.pth’, type=str)

parser.add_argument(‘–input_folder’, default=‘./test/input’, type=str, help=‘img path for predict’)

parser.add_argument(‘–output_folder’, default=‘./test/output’, type=str, help=‘img path for output’)

parser.add_argument(‘–thre’, default=0.3,type=float, help=‘the thresh of post_processing’)

parser.add_argument(‘–polygon’, action=‘store_true’, help=‘output polygon or box’)

parser.add_argument(‘–show’, default=True,action=‘store_true’, help=‘show result’)

parser.add_argument(‘–save_resut’, default=True, action=‘store_true’, help=‘save box and score to txt file’)

args = parser.parse_args()

return args

model_path:模型的路径。

input_folder:待测试图片的路径。

output_folder:输出结果的路径。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
img

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。img

👉二、Python必备开发工具

img
👉三、Python视频合集

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
img

👉 四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
img

👉五、Python练习题

检查学习结果。
img

👉六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
img

img

👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

学习资料已经上传

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

  • 17
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值