文本特征处理（n-garm表示方法、长度规范）

常见的文本特征处理方法：

• n-gram特征
• 文本长度规范

1. n-gram特征

句子可以用单个字，词来表示，但是有的时候，可以用2个、3个或者多个词来表示。

N-gram是一组的词语，其中的N表示能够被一起使用的词的数量 【准备词语特征的方法】

例如：

import jieba

text = '深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。'

cuted = jieba.lcut(text)
print(cuted)
cuted_list = [cuted[i: i+2] for i in range(len(cuted)-1)]
print(cuted_list)

运行结果：

        在传统的机器学习中，使用N-gram方法往往能够取得非常好的效果，但是在深度学习比如RNN中会自带N-gram的效果。

# 一般n-gram中的n取2或者3, 这里取2为例
ngram_range = 2

def creat_ngram_set(input_list):
    """
    description: 从数值列表中提取所有的n-gram特征
    :param input_list: 输入的数值列表, 可以看作是词汇映射后的列表, 里面每个数字的取值范围为[1, 25000]
    :return: n-gram特征组成的集合

    eg:
    >>> create_ngram_set([1, 4, 9, 4, 1, 4])
    {(4, 9), (4, 1), (1, 4), (9, 4)}
    """ 
    return set(zip(*[input_list[i:] for i in range(ngram_range)]))
    
input_list = [1, 3, 2, 1, 5, 3]
res = creat_ngram_set(input_list)
# 该输入列表的所有bi-gram特征
res

2.  文本长度规范及其作用

        一般模型的输入需要等尺寸大小的矩阵, 因此在进入模型前需要对每条文本数值映射后的长度进行规范, 此时将根据句子长度分布分析出覆盖绝大多数文本的合理长度, 对超长文本进行截断, 对不足文本进行补齐(一般使用数字0), 这个过程就是文本长度规范.

from keras.preprocessing import sequence

# cutlen根据数据分析中句子长度分布，覆盖90%左右语料的最短长度.
# 这里假定cutlen为10
cutlen = 10

def padding(x_train):
    """
    description: 对输入文本张量进行长度规范
    :param x_train: 文本的张量表示, 形如: [[1, 32, 32, 61], [2, 54, 21, 7, 19]]
    :return: 进行截断补齐后的文本张量表示 
    """
    # 使用sequence.pad_sequences即可完成
    return sequence.pad_sequences(x_train, cutlen)

# 假定x_train里面有两条文本, 一条长度大于10, 一天小于10
x_train = [[1, 23, 5, 32, 55, 63, 2, 21, 78, 32, 23, 1],
           [2, 32, 1, 23, 1]]
res = padding(x_train)
print(res)