项目实现-数据处理
CaptainSG
这个作者很懒,什么都没留下…
展开
-
数据批量生成函数代码实现
import numpy as npimport torchimport torch.utils.data as Data# 创建批量生成函数def load_dataset(data_file, batch_size): """数据批量生成函数 Args: data_file ([type]): 处理的文件,这里的文件是用np.savez()保存的npz文件 根据不同的数据样式进行区别处理; batch_size ([type.原创 2020-05-24 22:01:03 · 1162 阅读 · 0 评论 -
数据预处理方法集合(持续更新)
基本处理去除不需要的字符使用正则表达式实现:import re# 过滤不了\\ \ 中文()还有————r1 = u'[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>?@,。?★、…【】《》?“”‘’![\\]^_`{|}~]+'#用户也可以在此进行自定义过滤字符 # 者中规则也过滤不完全r2 = "[\s+\.\!\/_,$%^*(+\"\']...原创 2020-05-04 11:45:04 · 292 阅读 · 0 评论