MaskTextSpotterv3测试及训练

 

Mask TextSpotter v3 

号称最强端到端文本识别模型

实际测试,检测效果确实非同凡响,速度上稍微差于ABCNet.先上图看看效果

 

 

同样存在部分漏检情况。但是第一张图,这个居然检测出来了,还是很强大的,要知道ABCNet对第一张图里的,检测实在太差。

速度上,如下,

ABC:

 

mst:

环境及脚本如下: 

Python3 (Python3.7 is recommended)
PyTorch >= 1.4 (1.4 is recommended)
cocoapi
yacs
matplotlib
GCC >= 4.9 (This is very important!)
OpenCV
CUDA >= 9.0 (10.0.130 is recommended)


my env:
torch                  1.4.0
torchvision            0.5.0

py362
python                 3.6.2
cuda                   10.1

git clone https://github.com/NVIDIA/apex.git
cd apex
python setup.py install --cuda_ext --cpp_ext
# 注意:apex编译在torch==1.5.1 torchvision==0.6.1下的

cd MaskTextSpotterV3
 # build
  python setup.py build develop


# demo :a single image inference by python tools/demo.py
eg:
# 1.single image:
python tools/demo.py --image_path ./demo_images/img_77.jpg --visu_path ./demo_images/img_77_res.jpg
# 2.image folder
eg:
python tools/demo.py --input ./demo_images/ --output ./out/demo_out

# test
python tools/test_net.py --config-file configs/mixtrain/seg_rec_poly_fuse_feature.yaml



# train

# 1.Trained with SynthText

python3 -m torch.distributed.launch --nproc_per_node=8 tools/train_net.py --config-file configs/pretrain/seg_rec_poly_fuse_feature.yaml

训练部分,暂时未进行。

### 回答1: masktextspotterv3是一个用于文本识别和检测的模型。它基于深度学习技术,能够自动识别图像中的文字,并且可以检测文字所在的位置。与其他文本识别模型不同的是,masktextspotterv3能够检测和识别旋转、弯曲、倾斜等复杂形状的文本,具有很高的识别精度和鲁棒性。该模型已经在很多场景下得到了广泛的应用,例如自动驾驶、智能门禁、文档识别等领域。 是的,你说得对。masktextspotterv3是一个基于深度学习技术的文本识别和检测模型,能够自动识别图像中的文字,并且可以检测文字所在的位置。它的特点是能够检测和识别旋转、弯曲、倾斜等复杂形状的文本,具有很高的识别精度和鲁棒性。该模型已经在很多场景下得到了广泛的应用,包括自动驾驶、智能门禁、文档识别等领域。Mask TextSpotter v3 是一个针对场景文本检测和识别的深度学习模型。它采用了 Mask R-CNN 和 CRNN 两个网络结构,能够在复杂的背景下精确地检测和识别场景文本。 Mask TextSpotter v3 的主要特点包括: 1. 支持多语言,能够识别包括中文在内的多种语言。 2. 能够在低分辨率、低对比度等极端条件下仍能准确检测和识别文本。 3. 采用双向 GRU 网络结构,对文本进行识别和校正,提高了识别准确率。 4. 可以处理不同尺寸和方向的文本。 在实际应用中,Mask TextSpotter v3 可以用于自然场景下的文本检测和识别,例如交通标志、商铺招牌等。 ### 回答2: Mask TextSpotter V3是一种针对复杂背景场景中文字识别的算法。它在原有Mask TextSpotter的基础上进行了升级和改进,能够识别更加复杂的场景和字体,实现了更加高效准确的文字检测和识别。 在Mask TextSpotter V3中,首先进行的是文本检测,通过使用Mask R-CNN算法,能够检测出包括任意形状的文本框,并对文本框进行分割,去除背景噪声。接着,针对检测到的文本框,进行文本识别。在传统的OCR(Optical Character Recognition,光学字符识别)方法中,大多采用基于字符切割的方式,将字母/汉字进行分离,再进行特征提取和分类识别。 但是在复杂场景中,往往有很多遮挡、曲折、扭曲等情况,单纯的字符分割识别方法会失效。为此,Mask TextSpotter V3采用了mask fusion的方式,通过融合文本框分割掩码和字符分割掩码,实现更加准确的字符识别。同时,还针对字符进行了多尺度、多方向、多采样的特征提取和分类,提高了识别的稳定性和准确性。 总的来说,Mask TextSpotter V3是一种高效准确的文本识别算法,能够应用于各种文字识别场景中,包括证件识别、号码识别、场景文本识别等。 ### 回答3: Mask TextSpotter V3是一种新型的文本检测和识别神经网络模型,它基于Mask R-CNN框架,通过引入RoI进行采样和池化,以实现文本语义分割和区域建议。该模型不仅可以识别水平文本,还可以检测和识别曲线和弯曲文本,其准确率高达90%,成为目前文本识别和检测领域的领先模型。 Mask TextSpotter V3的主要特点是将文本区域检测和文本识别合并到一个端到端的神经网络中,使得模型能够一次性地输出文本区域和对应的文本结果。该模型还采用多任务损失函数,确保文本检测和识别的结果能够互相促进,提高整个模型的准确率。 除此之外,Mask TextSpotter V3还引入了Transformers网络结构,用于实现文本序列识别。Transformers网络结构是一种基于自注意力机制(self-attention mechanism)的模型,能够处理不同位置之间的依赖关系,极大地提升了文本识别的准确率。 总之,Mask TextSpotter V3是一种前沿、高效且准确的文本检测和识别模型,可以广泛应用于自动驾驶、OCR、图像搜索等领域,为人工智能应用的发展带来新的突破。
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值