【文本预处理】

  文本预处理的核心思想是如何将文本中转化成能够训练的样本，而且通常情况下是转化成序列数据。通常有以下几个步骤：

通常英文和中文的处理会有些差别，我们分别举例讲解

处理英文文本

• 加载原始文本（一般我们按行来进行处理，因此一行一行的读）

import collections
import re
from d2l import torch as d2l

# 这里主要是懒得再去下载英文文章了，就直接copy的李沐老师的代码
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
                                '090b5e7e70c295757f55df93cb0a180b9691891a')

def read_time_machine():  
    """将时间机器数据集加载到文本行的列表中"""
    with open(d2l.download('time_machine'), 'r') as f:
        lines = f.readlines()
    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]
    # 这一步是暴力将所有非英文字符全部替换并转换成小写
    # 可能会有一些问题，但是无伤大雅

lines = read_time_machine()
print(lines[0])
print(lines[10])

the time machine by h g wells
twinkled and his usually pale face was flushed and animated the

• 获得每一行句子的token（可以理解为词汇表）

# 这里由于是英文，都是空格分割，相对好处理，中英文的处理差别就在这儿
def tokenize(lines, token='word'):  
    """将文本行拆分为单词或字符词元"""
    if token == 'word':
        return [line.split() for line in lines]
    elif token == 'char':
        return [list(line) for line in lines]
    else:
        print('错误：未知词元类型：' + token)

tokens = tokenize(lines)
for i in range(11):
    print(tokens[i])

['the', 'time', 'machine', 'by', 'h', 'g', 'wells']
[]
[]
[]
[]
['i']
[]
[]
['the', 'time', 'traveller', 'for', 'so', 'it', 'will', 'be', 'convenient', 'to', 'speak', 'of', 'him']
['was', 'expounding', 'a', 'recondite', 'matter', 'to', 'us', 'his', 'grey', 'eyes', 'shone', 'and']
['twinkled', 'and', 'his', 'usually', 'pale', 'face', 'was', 'flushed', 'and', 'animated', 'the']

• 构建一个字典，通常也叫做词表（vocabulary）， 用来将字符串类型的词元映射到从 0 开始的数字索引中（可以理解为LabelEncoder）

class Vocab:  
    """文本词表"""
    def __init__(self, tokens=None, min_freq=0, reserved_tokens=None):
        if tokens is None:
            tokens = []
        # reserved_tokens主要用来保存一些特殊的符号，比如起始符、间隔符等
        if reserved_tokens is None:
            reserved_tokens = []
        
        # 获取所有单词的词频并将其按照出现频率从高到低排序
        # 这么做的原因是频率高的词索引次数也就越多，放在前面从计算机内存角度方便索引，减少复杂度
        counter = count_corpus(tokens)
        self._token_freqs = sorted(counter.items(), key=lambda x: x[1],
                                   reverse=True)
        
        # <unk> 表示空，即没有出现过的词，我们把它放在0位置
        self.idx_to_token = ['<unk>'] + reserved_tokens
        self.token_to_idx = {token: idx
                             for idx, token in enumerate(self.idx_to_token)}
        for token, freq in self._token_freqs:
            if freq < min_freq:
                break
            if token not in self.token_to_idx:
                self.idx_to_token.append(token)
                self.token_to_idx[token] = len(self.idx_to_token) - 1

    def __len__(self):
        return len(self.idx_to_token)
	
	# 给定单词，查找期所对应的索引
    def __getitem__(self, tokens):
        if not isinstance(tokens, (list, tuple)):
            return self.token_to_idx.get(tokens, self.unk)
        return [self.__getitem__(token) for token in tokens]
	
	# 给定索引值，查找对应的单词
    def to_tokens(self, indices):
        if not isinstance(indices, (list, tuple)):
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]

    @property
    def token_freqs(self):
        return self._token_freqs
    
    @property
    def unk(self):
        return 0

def count_corpus(tokens):  
    """统计词元的频率"""
    if len(tokens) == 0 or isinstance(tokens[0], list):
        tokens = [token for line in tokens for token in line]
    return collections.Counter(tokens)

vocab = Vocab(tokens)
vocab.to_tokens(1), vocab['the']

('the', 1)

处理中文文本

• 处理中文文本主要是牵扯到分词，一般我们使用jieba分词

import collections
import jieba

def load_text(src):
    with open(src, 'r', encoding='utf8') as f:
        lines = f.readlines()
    return [line.strip() for line in lines]

# 获取原始文本
lines = load_text('D:/Pytorch/mine/nlp/word2vec/data/sexy.txt')
lines[10]

'男性和女性的性观念是否存在差异？平均来看，的确存在差异：男性在性的价值取向和态度体验上更为宽容，虽然随着时代的进步这种差异会越来越小，但差别大小取决于所要测量的具体态度（Petersen & Hyde，2010）。男女两性在性观念上的最大的差异是对待婚前随意性行为的态度；男性比女性更可能认为没有爱情的性也可接受。这种差异毫无疑问会影响男女两性对过去性行为的反思：女性更可能后悔自己过去的行为（如发生一夜情），而男性更可能悔不当初（如有人追求自己时没有发生性关系）。谈到随意性行为时，女性往往后悔自己的行为，而男性则后悔自己没有行动（Galperin et al.，2011）。'

# 读取停用词（即一些语气助词、特殊符号等对我们训练没用的词）
stop_words = load_text('D:/Pytorch/mine/nlp/word2vec/data/stop_words.txt')
stop_words[-10:-1]

['嗳', '会', '人', '使', '不', '更', '越', '都', '最']

# 使用jieba进行切词
sentence_cut = [' '.join(jieba.cut(line)) for line in lines]
sentence_cut[10]

'男性 和 女性 的 性观念 是否 存在 差异 ？ 平均 来看 ， 的确 存在 差异 ： 男性 在 性 的 价值 取向 和 态度 体验 上 更为 宽容 ， 虽然 随着 时代 的 进步 这种 差异 会 越来越 小 ， 但 差别 大小 取决于 所 要 测量 的 具体 态度 （ Petersen   &   Hyde ， 2010 ） 。 男女 两性 在 性观念 上 的 最大 的 差异 是 对待 婚前 随意性 行为 的 态度 ； 男性 比 女性 更 可能 认为 没有 爱情 的 性 也 可 接受 。 这种 差异 毫无疑问 会 影响 男女 两性 对 过去 性行为 的 反思 ： 女性 更 可能 后悔 自己 过去 的 行为 （ 如 发生 一夜情 ） ， 而 男性 更 可能 悔不当初 （ 如 有人 追求 自己 时 没有 发生 性关系 ） 。 谈到 随意性 行为 时 ， 女性 往往 后悔 自己 的 行为 ， 而 男性 则 后悔 自己 没有 行动 （ Galperin   et   al . ， 2011 ） 。'

# 去除停用词
sentence_no_stopwords = [[word for word in line.split() if word not in stop_words] for line in sentence_cut]
sentence_no_stopwords[10]

['男性', '女性', '性观念', '是否', '存在', '差异', '平均', '来看', '的确', '存在']

class Vocab:  
    """文本词表"""
    def __init__(self, tokens=None, min_freq=0, reserved_tokens=None):
        if tokens is None:
            tokens = []
        if reserved_tokens is None:
            reserved_tokens = []
        counter = count_corpus(tokens)
        self._token_freqs = sorted(counter.items(), key=lambda x: x[1],
                                   reverse=True)
        self.idx_to_token = ['<unk>'] + reserved_tokens
        self.token_to_idx = {token: idx
                             for idx, token in enumerate(self.idx_to_token)}
        for token, freq in self._token_freqs:
            if freq < min_freq:
                break
            if token not in self.token_to_idx:
                self.idx_to_token.append(token)
                self.token_to_idx[token] = len(self.idx_to_token) - 1

    def __len__(self):
        return len(self.idx_to_token)

    def __getitem__(self, tokens):
        if not isinstance(tokens, (list, tuple)):
            return self.token_to_idx.get(tokens, self.unk)
        return [self.__getitem__(token) for token in tokens]

    def to_tokens(self, indices):
        if not isinstance(indices, (list, tuple)):
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]

    @property
    def unk(self):
        return 0

    @property
    def token_freqs(self):
        return self._token_freqs

def count_corpus(tokens):  
    """统计词元的频率"""
    if len(tokens) == 0 or isinstance(tokens[0], list):
        tokens = [token for line in tokens for token in line]
    return collections.Counter(tokens)

vocab = Vocab(sentence_no_stopwords)
len(vocab)

2250

vocab['追求'], vocab.to_tokens(112)

(112, '追求')