- 博客(11)
- 收藏
- 关注
原创 OCR进一步优化方向
可能的筛选条件是:预测结果的字符串长度和正确结果的字符串长度的差值的绝对值的维度,对预测结果做筛选。部分错字替换不能解决的问题是:无法对全部12w条做分词,因为有很多英文和中文杂糅的句子,甚至是不完整的句子,所以可以尝试全词替换的思想,即将完整的预测结果字符串替换为正确的字符串。选用PP-OCRv4/ch_PP-OCRv4_rec_hgnet_fp32_ultra.yml的配置文件,使模型没那么轻量化。的评估目前还不够可视化,对此BML CodeLab集成了可视化终端 可以在左侧的侧边栏查看,非常便捷。
2024-06-23 20:15:50
220
原创 OCR识别图片
结果文件路径# 模型目录路径# 获取测试图像文件列表# 初始化文本识别器Tf=0# 加载哈希数到字典# 日志信息# 模型预热# 图像处理# 将有效的图像文件路径添加到 valid_image_file_list 中,并将图像数据添加到 img_list 中continuetry:exit()# 查图像的hash值,是否在train_hash_label中,若是则将对应的标签写入结果文件continue# 对识别结果进行标点转换# 繁体转简体# 预测wiki集。
2024-06-23 14:13:21
279
原创 数据集分析
总的来看,数据集质量不是很高,图片分辨率很低,直接用于训练的话,效果肯定很差。所以训练模型的话,需要进行数据清洗与处理工作来防止因为数据集质量而导致的精度下降。还有一些图像是奇怪的图形,并没有文字,还有一些图像是日文、韩文等非本次比赛识别字符范围内的字符。还有一些图像和标签是不匹配的,也就是说标签是错误的,例如:mg_crop_205899.jpg。还有一些数据是带有旋转的,例如旋转了180°或微小角度;我们先对数据集的基本情况看一下,先来看看图片。
2024-06-23 10:43:26
203
原创 线上赛训练准备
这一次的智慧交通组的任务由以往的检测分割换成了OCR任务。OCR任务分为两种文字检测和文字识别,检测需要定位文本位置(类似目标检测),而识别就是识别出图像中的文字,我们这次的比赛任务就是文字识别。我们首先需要解压数据,最好是aistudio中数据最好放在data目录下,因为data目录下空间很大,放在其他地方会导致项目加载变慢。这里我使用了两个数据集,除了本次比赛的数据集之外还使用了另一个比赛的数据集,目的是融合扩充数据集。这几条),因为重新启动环境的时候,需要重新下载一次环境所需要的依赖包。
2024-06-23 10:20:04
258
原创 ERNIE Bot 大模型—Prompt
程序辅助语言模型,一种使用 LLMs 读取自然语言问题并生成程序作为中间推理步骤的方法,被称为程序辅助语言模型(PAL)。这个技巧使用起来非常简单,只需要在问题的结尾里放一句 Let‘s think step by step (让我们一步步地思考),模型输出的答案会更加准确。自洽是对 Chain of Thought 的一个补充,它能让模型生成多个思维链,然后取最多数答案的作为最终结果。: 背景信息,或者说是上下文信息,这可以引导模型做出更好的反应。: 输出指示器,告知模型我们要输出的类型或格式。
2024-05-29 23:13:12
650
原创 ERNIE Bot 大模型
在未来的实践中,我将继续探索 ERNIE Bot 的更多应用场景,并深入研究其中的原理和算法,以提升我的文本处理和自然语言处理能力。在多轮对话实验中,我模拟了一个对话场景,首先向模型发起了一个询问:“请问你能以《你好,世界》为题,写一首现代诗吗?ERNIE Bot 是由文心&飞桨官方提供的 Python 库,提供了方便易用的 Python 接口,可以调用文心大模型的能力,完成包括文本创作、通用对话、语义向量转换和 AI 作图等多项任务。然后,我将进行单轮对话和多轮对话的实验,观察模型的响应结果。
2024-05-29 22:44:31
838
原创 识别模型训练
PaddleDetection 是一个基于 PaddlePaddle 框架开发的目标检测工具库,提供了丰富的预训练模型和训练工具,方便用户进行目标检测任务的开发和应用。在模型评估过程中,我们得到了两个关键指标,平均帧率和最佳测试边界框平均精度,它们分别反映了模型在速度和准确性方面的表现。在这个项目中,首先准备数据集,然后配置模型训练参数,接着进行模型训练和评估,最后导出推理模型,以便在实际应用中使用。在模型训练过程中,不断地监控训练日志和评估结果,以便及时调整模型参数和训练策略,提高模型的性能和泛化能力。
2024-05-29 22:22:13
841
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人