深度学习第二天

文本预处理

步骤：
1.读入文本

import collections
import re

def read_time_machine():
    with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:
    #打开文本文件，创建文本对象f（可迭代）
        lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]
        #正则表达式的替换字符，非a-z的长度至少为1的字符串替换为空格
        #去掉前缀后缀的空白字符，把大写转换成小写，每次处理文件的一行
    return lines


lines = read_time_machine()
print('# sentences %d' % len(lines))

2.分词
对每个句子进行分词，即将一个句子划分成若干个词，转换为一个词的序列。

#二维列表（句子，序列）
def tokenize(sentences, token='word'):
    """Split sentences into word or char tokens"""
    #做单词级别的分词，空格为分隔符
    if token == 'word':
        return [sentence.split(' ') for sentence in sentences]
    #字符级别的分词，将字符串转换成列表
    elif token == 'char':
        return [list(sentence) for sentence in sentences]
    else:
        print('ERROR: unkown token type '+token)

tokens = tokenize(lines)
tokens[0:2]

3.建立字典
为了方便模型处理，需要将字符串转换为数字。因此需要先构建一个字典，将每个词映射到一个唯一的索引编号。
3.1去重，删掉一些不要的词
3.2添加特殊的token
3.3把每个token映射到唯一的索引，把每个索引映射到对应的token

class Vocab(object):
# 参数一所有词，参数二阈值（出现次数少的可以直接忽略），参数三标志（使用特殊的token）
    def __init__(self, tokens, min_freq=0, use_special_tokens=False):
        counter = count_corpus(tokens)  # 统计词频，键值对（词，词频）: 
        self.token_freqs = list(counter.items()) # 构造列表
        self.idx_to_token = []  #列表
        if use_special_tokens:
            # padding, begin of sentence, end of sentence, unknown
            self.pad, self.bos, self.eos, self.unk = (0, 1, 2, 3)
            self.idx_to_token += ['<pad>', '<bos>', '<eos>', '<unk>']
        else:
            self.unk = 0
            self.idx_to_token += ['<unk>']
        self.idx_to_token += [token for token, freq in self.token_freqs
                        if freq >= min_freq and token not in self.idx_to_token]
        self.token_to_idx = dict()  #从词到索引号的映射定义为字典
        for idx, token in enumerate(self.idx_to_token):  #枚举每个词及下表
            self.token_to_idx[token] = idx

    #返回字节大小
    def __len__(self):
        return len(self.idx_to_token)
    #判断tokens是否是列表或元组，在字典中返回对应值
    #词到索引的映射
    def __getitem__(self, tokens):
        if not isinstance(tokens, (list, tuple)):
            return self.token_to_idx.get(tokens, self.unk)
        return [self.__getitem__(token) for token in tokens]

    #给定索引返回对应的词
    def to_tokens(self, indices):
        if not isinstance(indices, (list, tuple)):
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]

def count_corpus(sentences):
    tokens = [tk for st in sentences for tk in st]
    return collections.Counter(tokens)  # 返回一个字典，记录每个词的出现次数

4.将词转换为索引
使用字典，可以将原文本中的句子从单词序列转换为索引序列。

#第八行和第十行，单词序列和对应索引序列
for i in range(8, 10):
    print('words:', tokens[i])
    print('indices:', vocab[tokens[i]])

其他方法
spaCy

#先分词，再进行各个步骤
import spacy
nlp = spacy.load('en_core_web_sm')  #nlp可以直接作用于文本
doc = nlp(text)
print([token.text for token in doc])

NLTK

from nltk.tokenize import word_tokenize
from nltk import data
data.path.append('/home/kesci/input/nltk_data3784/nltk_data')
print(word_tokenize(text))

语言模型和数据集

给定一段序列判断序列是否合理。下面介绍的是基于统计的语言模型，主要是n元语法（n-gram）。
语言模型：语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。词的概率可以通过该词在训练数据集中的相对词频来计算。
n元语法：序列长度增加，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。n元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔可夫链。如果n=1，那么有P(w3∣w1,w2)=P(w3∣w2)。当n分别为1、2和3时，我们将其分别称作一元语法（unigram）、二元语法（bigram）和三元语法（trigram）。长度为4的序列概率为：

当n较小时，n元语法往往并不准确；当n较大时，n元语法需要计算并存储大量的词频和多词相邻频率。
1.时序数据的采样
在训练中需要每次随机读取小批量样本和标签。时序数据的一个样本通常包含连续的字符。如果序列的长度为T，时间步数为n，那么一共有T−n个合法的样本，但是这些样本有大量的重合，通常采用更加高效的采样方式，分别是随机采样和相邻采样。
2.随机采样
每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数，num_steps是每个样本所包含的时间步数。 在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻。
3.相邻采样
在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻。