【PreconditionNotMetError: The meta data must be valid when call the mutable data function】非法输入

博客讲述了在处理CAIL2018司法判决数据集时遇到的`PreconditionNotMetError`,原因是数据包含非法字符如 , , 和乱码x1f。建议通过异常捕获,正则表达式去除异常字符,以避免此类错误。" 126085916,10912945,R语言ARIMA模型预测与可视化:autoplot预测结果及置信区间,"['R语言', '数据分析', '机器学习']
摘要由CSDN通过智能技术生成

问题描述

处理的数据:CAIL2018,是一个司法判决数据集
切分的方法:jieba.cut(sentence, use_paddle = True)

原因

如报错所示,是因为送进jieba.cut的数据有问题。具体而言,被切分的数据有不合法字符

  1. \n\r\t
  2. 一些乱码,比如 \x1f
    需要说明的是,有可能其他字符也会出发该错误,最好用try except捕获一下异常,输出被切分的字符串,具体问题具体分析。

处理方式

  1. sentence的异常字符replace
sentence = sentence.replace('\r', '').replace
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值