深度学习第二天

文本预处理

步骤:
1.读入文本

import collections
import re

def read_time_machine():
    with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:
    #打开文本文件,创建文本对象f(可迭代)
        lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]
        #正则表达式的替换字符,非a-z的长度至少为1的字符串替换为空格
        #去掉前缀后缀的空白字符,把大写转换成小写,每次处理文件的一行
    return lines


lines = read_time_machine()
print('# sentences %d' % len(lines))

2.分词
对每个句子进行分词,即将一个句子划分成若干个词,转换为一个词的序列。

#二维列表(句子,序列)
def tokenize(sentences, token='word'):
    """Split sentences into word or char tokens"""
    #做单词级别的分词,空格为分隔符
    if token == 'word':
        return [sentence.split(' ') for sentence in sentences]
    #字符级别的分词,将字符串转换成列表
    elif token == 'char':
        return [list(sentence) for sentence in sentences]
    else:
        print('ERROR: unkown token type '+token)

tokens = tokenize(lines)
tokens[0:2]

3.建立字典
为了方便模型处理,需要将字符串转换为数字。因此需要先构建一个字典,将每个词映射到一个唯一的索引编号。
3.1去重,删掉一些不要的词
3.2添加特殊的token
3.3把每个token映射到唯一的索引,把每个索引映射到对应的token

class Vocab(object):
# 参数一所有词,参数二阈值(出现次数少的可以直接忽略),参数三标志(使用特殊的token)
    def __init__(self, tokens, min_freq=0, use_special_tokens=False):
        counter = count_corpus(tokens)  # 统计词频,键值对(词,词频): 
        self.token_freqs = list(counter.items()) # 构造列表
        self.idx_to_token = []  #列表
        if use_special_tokens:
            # padding, begin of sentence, end of sentence, unknown
            self.pad, self.bos, self.eos, self.unk = (0, 1, 2, 3)
            self.idx_to_token += ['<pad>', '<bos>', '<eos>', '<unk>']
        else:
            self.unk = 0
            self.idx_to_token += ['<unk>']
        self.idx_to_token += [token for token, freq in self.token_freqs
                        if freq >= min_freq and token not in self.idx_to_token]
        self.token_to_idx = dict()  #从词到索引号的映射定义为字典
        for idx, token in enumerate(self.idx_to_token):  #枚举每个词及下表
            self.token_to_idx[token] = idx

    #返回字节大小
    def __len__(self):
        return len(self.idx_to_token)
    #判断tokens是否是列表或元组,在字典中返回对应值
    #词到索引的映射
    def __getitem__(self, tokens):
        if not isinstance(tokens, (list, tuple)):
            return self.token_to_idx.get(tokens, self.unk)
        return [self.__getitem__(token) for token in tokens]

    #给定索引返回对应的词
    def to_tokens(self, indices):
        if not isinstance(indices, (list, tuple)):
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]

def count_corpus(sentences):
    tokens = [tk for st in sentences for tk in st]
    return collections.Counter(tokens)  # 返回一个字典,记录每个词的出现次数

4.将词转换为索引
使用字典,可以将原文本中的句子从单词序列转换为索引序列。

#第八行和第十行,单词序列和对应索引序列
for i in range(8, 10):
    print('words:', tokens[i])
    print('indices:', vocab[tokens[i]])

其他方法
spaCy

#先分词,再进行各个步骤
import spacy
nlp = spacy.load('en_core_web_sm')  #nlp可以直接作用于文本
doc = nlp(text)
print([token.text for token in doc])

NLTK

from nltk.tokenize import word_tokenize
from nltk import data
data.path.append('/home/kesci/input/nltk_data3784/nltk_data')
print(word_tokenize(text))

语言模型和数据集

给定一段序列判断序列是否合理。下面介绍的是基于统计的语言模型,主要是n元语法(n-gram)。
语言模型:语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。词的概率可以通过该词在训练数据集中的相对词频来计算。
n元语法:序列长度增加,计算和存储多个词共同出现的概率的复杂度会呈指数级增加。n元语法通过马尔可夫假设简化模型,马尔科夫假设是指一个词的出现只与前面n个词相关,即n阶马尔可夫链。如果n=1,那么有P(w3∣w1,w2)=P(w3∣w2)。当n分别为1、2和3时,我们将其分别称作一元语法(unigram)、二元语法(bigram)和三元语法(trigram)。长度为4的序列概率为:
在这里插入图片描述
当n较小时,n元语法往往并不准确;当n较大时,n元语法需要计算并存储大量的词频和多词相邻频率。
1.时序数据的采样
在训练中需要每次随机读取小批量样本和标签。时序数据的一个样本通常包含连续的字符。如果序列的长度为T,时间步数为n,那么一共有T−n个合法的样本,但是这些样本有大量的重合,通常采用更加高效的采样方式,分别是随机采样和相邻采样。
2.随机采样
每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数,num_steps是每个样本所包含的时间步数。 在随机采样中,每个样本是原始序列上任意截取的一段序列,相邻的两个随机小批量在原始序列上的位置不一定相毗邻。
3.相邻采样
在相邻采样中,相邻的两个随机小批量在原始序列上的位置相毗邻。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值