文本预处理
步骤:
1.读入文本
import collections
import re
def read_time_machine():
with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:
#打开文本文件,创建文本对象f(可迭代)
lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]
#正则表达式的替换字符,非a-z的长度至少为1的字符串替换为空格
#去掉前缀后缀的空白字符,把大写转换成小写,每次处理文件的一行
return lines
lines = read_time_machine()
print('# sentences %d' % len(lines))
2.分词
对每个句子进行分词,即将一个句子划分成若干个词,转换为一个词的序列。
#二维列表(句子,序列)
def tokenize(sentences, token='word'):
"""Split sentences into word or char tokens"""
#做单词级别的分词,空格为分隔符
if token == 'word':
return [sentence.split(' ') for sentence in sentences]
#字符级别的分词,将字符串转换成列表
elif token == 'char':
return [list(sentence) for sentence in sentences]
else:
print('ERROR: unkown token type '+token)
tokens = tokenize(lines)
tokens[0:2]
3.建立字典
为了方便模型处理,需要将字符串转换为数字。因此需要先构建一个字典,将每个词映射到一个唯一的索引编号。
3.1去重,删掉一些不要的词
3.2添加特殊的token
3.3把每个token映射到唯一的索引,把每个索引映射到对应的token
class Vocab(object):
# 参数一所有词,参数二阈值(出现次数少的可以直接忽略),参数三标志(使用特殊的token)
def __init__(self, tokens, min_freq=0, use_special_tokens=False):
counter = count_corpus(tokens) # 统计词频,键值对(词,词频):
self.token_freqs = list(counter.items()) # 构造列表
self.idx_to_token = [] #列表
if use_special_tokens:
# padding, begin of sentence, end of sentence, unknown
self.pad, self.bos, self.eos, self.unk = (0, 1, 2, 3)
self.idx_to_token += ['<pad>', '<bos>', '<eos>', '<unk>']
else:
self.unk = 0
self.idx_to_token += ['<unk>']
self.idx_to_token += [token for token, freq in self.token_freqs
if freq >= min_freq and token not in self.idx_to_token]
self.token_to_idx = dict() #从词到索引号的映射定义为字典
for idx, token in enumerate(self.idx_to_token): #枚举每个词及下表
self.token_to_idx[token] = idx
#返回字节大小
def __len__(self):
return len(self.idx_to_token)
#判断tokens是否是列表或元组,在字典中返回对应值
#词到索引的映射
def __getitem__(self, tokens):
if not isinstance(tokens, (list, tuple)):
return self.token_to_idx.get(tokens, self.unk)
return [self.__getitem__(token) for token in tokens]
#给定索引返回对应的词
def to_tokens(self, indices):
if not isinstance(indices, (list, tuple)):
return self.idx_to_token[indices]
return [self.idx_to_token[index] for index in indices]
def count_corpus(sentences):
tokens = [tk for st in sentences for tk in st]
return collections.Counter(tokens) # 返回一个字典,记录每个词的出现次数
4.将词转换为索引
使用字典,可以将原文本中的句子从单词序列转换为索引序列。
#第八行和第十行,单词序列和对应索引序列
for i in range(8, 10):
print('words:', tokens[i])
print('indices:', vocab[tokens[i]])
其他方法
spaCy
#先分词,再进行各个步骤
import spacy
nlp = spacy.load('en_core_web_sm') #nlp可以直接作用于文本
doc = nlp(text)
print([token.text for token in doc])
NLTK
from nltk.tokenize import word_tokenize
from nltk import data
data.path.append('/home/kesci/input/nltk_data3784/nltk_data')
print(word_tokenize(text))
语言模型和数据集
给定一段序列判断序列是否合理。下面介绍的是基于统计的语言模型,主要是n元语法(n-gram)。
语言模型:语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。词的概率可以通过该词在训练数据集中的相对词频来计算。
n元语法:序列长度增加,计算和存储多个词共同出现的概率的复杂度会呈指数级增加。n元语法通过马尔可夫假设简化模型,马尔科夫假设是指一个词的出现只与前面n个词相关,即n阶马尔可夫链。如果n=1,那么有P(w3∣w1,w2)=P(w3∣w2)。当n分别为1、2和3时,我们将其分别称作一元语法(unigram)、二元语法(bigram)和三元语法(trigram)。长度为4的序列概率为:
当n较小时,n元语法往往并不准确;当n较大时,n元语法需要计算并存储大量的词频和多词相邻频率。
1.时序数据的采样
在训练中需要每次随机读取小批量样本和标签。时序数据的一个样本通常包含连续的字符。如果序列的长度为T,时间步数为n,那么一共有T−n个合法的样本,但是这些样本有大量的重合,通常采用更加高效的采样方式,分别是随机采样和相邻采样。
2.随机采样
每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数,num_steps是每个样本所包含的时间步数。 在随机采样中,每个样本是原始序列上任意截取的一段序列,相邻的两个随机小批量在原始序列上的位置不一定相毗邻。
3.相邻采样
在相邻采样中,相邻的两个随机小批量在原始序列上的位置相毗邻。