模型输入数据处理(处理为json文件)

在数据集处理为txt格式的情况下,需要进一步为json格式,先展示一下处理后的json个数据:
每一行是一个json格式数据,包含两个字段,word和tag,word就是每个字的ascll码表示,如果是数字就表示为NUM,tag是两次之间是空格还是标点,是标点要指明是什么标点。
在这里插入图片描述
在这里插入图片描述
下面介绍一下处理过程:
1、导入需要的模板

import os
from tqdm import tqdm
from collections import Counter
import numpy as np
import codecs
import re
from data.common import SPACE, UNK, PAD, NUM, END, write_json

其中common是自定义文件,用到的代码如下

PAD = "<PAD>"
UNK = "<UNK>"
NUM = "<NUM>"
END = "</S>"
SPACE = "_SPACE"


def write_json(filename, dataset):
    print('write to'+filename)
    with codecs.open(filename, mode="w", encoding="utf-8") as f:
        ujson.dump(dataset, f)

2、定义标点列表
其中只包括逗号句号问号,不在这几个中的也要单独定义列表

# Comma, period & question mark only:
PUNCTUATION_VOCABULARY = [SPACE, ",COMMA", ".PERIOD", "?QUESTIONMARK"]
#PUNCTUATION_VOCABULARY = [SPACE, ",COMMA"]
PUNCTUATION_MAPPING = {
   "!EXCLAMATIONMARK": ".PERIOD", ":COLON": ",COMMA", ";SEMICOLON": ".PERIOD", "-DASH": ",COMMA"}

EOS_TOKENS = {
   ".PERIOD", "?QUESTIONMARK", "!EXCLAMATIONMARK"}
# punctuations that are not included in vocabulary nor mapping, must be added to CRAP_TOKENS
CRAP_TOKENS = {
   "<doc>", "<doc.>"}

3、判断字符是否为数字
这里调用了正则表达式进行判断,返回布尔类型

def is_number(word):
    numbers = re
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
目标检测中,读取json文件的过程可以通过以下步骤实现: 1. 首先,需要使用适当的编程语言(如Python)导入相关的库和模块,如json库。 2. 使用文件操作函数打开json文件,读取其中的内容。 3. 将读取到的json内容解析为相应的数据结构,例如字典或列表。 4. 根据目标检测模型的要求,对解析后的数据结构进行处理和转换,以便与模型输入相匹配。 5. 最后,可以将处理后的数据结构传递给目标检测模型进行推理或其他操作。 请注意,具体的代码实现可能会因编程语言和目标检测模型的不同而有所差异,你可以根据自己的需求和具体情况进行代码的编写和调整。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [将目标检测的json文件可视化](https://blog.csdn.net/weixin_44435110/article/details/99632055)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [python xml标签文件转txt文件(yolov3)](https://download.csdn.net/download/weixin_38529251/13741292)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值