自然语言处理笔记总目录
文本特征处理的作用: 文本特征处理包括为语料添加具有普适性的文本特征,如n-gram特征,以及对加入特征之后的文本语料进行必要的处理,如长度规范。这些特征处理工作能够有效的将重要的文本特征加入模型训练中,增强模型评估指标
常见的文本特征处理方法:
- 添加n-gram特征
- 文本长度规范
提取n-gram特征:
ngram_range = 2
def create_ngram_set(input_list):
return set(zip(*(list(input_list[i:] for i in range(ngram_range)))))
input_list = [1, 3, 2, 1, 5, 3]
res = create_ngram_set(input_list)
print(res)
# 结果:{(2, 1), (1, 5), (5, 3), (3, 2), (1, 3)}
zip返回的是一个zip对象,需要使用*进行解包
文本长度规范及其作用: 一般模型的输入需要等尺寸大小的矩阵,因此在进入模型前需要对每条文本数值映射后的长度进行规范,此时将根据句子长度分布分析出覆盖绝大多数文本的合理长度,对超长文本进行截断,对不足文本进行补齐(一般使用数字0),这个过程就是文本长度规范
文本长度规范的实现:
from keras.preprocessing import sequence
cutlen = 10
def padding(x):
return sequence.pad_sequences(x, cutlen)
x_train = [
[1, 45, 67, 34, 25, 56, 78, 65, 23, 84, 75, 24, 46, 8],
[5, 0, 67, 23]
]
res = padding(x_train)
print(res)
# [[25 56 78 65 23 84 75 24 46 8]
# [ 0 0 0 0 0 0 5 0 67 23]]