1. NLP基本处理
去除不需要的字符
使用正则表达式实现:
import re
# 过滤不了\\ \ 中文()还有————
r1 = u'[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>?@,。?★、…【】《》?“”‘’![\\]^_`{|}~]+'#用户也可以在此进行自定义过滤字符
# 者中规则也过滤不完全
r2 = "[\s+\.\!\/_,$%^*(+\"\']+|[+——!,。?、~@#¥%……&*()]+"
# \\\可以过滤掉反向单杠和双杠,/可以过滤掉正向单杠和双杠,第一个中括号里放的是英文符号,第二个中括号里放的是中文符号,第二个中括号前不能少|,否则过滤不完全
r3 = "[.!//_,$&%^*()<>+\"'?@#-|:~{}]+|[——!\\\\,。=?、:“”‘’《》【】¥……()]+"
# 去掉括号和括号内的所有内容
r4 = "\\【.*?】+|\\《.*?》+|\\#.*?#+|[.!/_,$&%^*()<>+""'?@|:~{}#]+|[——!\\\,。=?、:“”‘’¥……()《》【】]"
sentence = "hello! wo?rd!."
cleanr = re.compile('<.*?>')
sentence = re.sub(cleanr, ' ', sentence) #去除html标签
sentence = re.sub(r4,'',sentence)
print(sentence)
停用词
from nltk.corpus import stopwords
sentence = "this is a apple"
filter_sentence= [w for w in sentence.split(' ') if w not in stopwords.words('english')]
print(filter_sentence)
2. CV数据基本处理
2.1 使用opencv进行数据预处理
imutils
----------图像平移
img = cv.imread(filename)
#x,y 表示平移的像素个数
translated = imutils.translate(img, x, y)
#图像缩放
resized = imutils.resize(img, width=200)
#图像旋转
rotated = imutils.rotate(img, alpha)
通用数据集处理
1.训练集和验证集分割方法
训练集和验证集划分,一般推荐使用两种:
- sklearn.train_test_split()方法
- torch.utils.data.Data.random_split(),并使用Dataloader加载数据集进行分批次处理,速度快,占用资源少;
代码详细实现见链接:Dataloader代码