python是不是多模型语言_Python深度学习——文本与语言

文本与语言

本文包含以下内容

1、文本预处理

2、语言模型

文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

1、读入文本

import collections

import re

def read_time_machine():

with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:

lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]

return lines

lines = read_time_machine()

print('# sentences %d' % len(lines))

out：sentences 3221

2、分词

对每个句子进行分词，也就是将一个句子划分成若干个词(token)，转换为一个词的序列。

def tokenize(sentences, token='word'):

"""Split sentences into word or char tokens"""

if token == 'word':

return [sentence.split(' ') for sentence in sentences]