文本预处理

最新推荐文章于 2023-09-12 21:46:48 发布

tantantan12321

最新推荐文章于 2023-09-12 21:46:48 发布

阅读量106

点赞数

文章标签： python 开发语言自然语言处理 Powered by 金山文档

本文链接：https://blog.csdn.net/tantantan12321/article/details/129235145

版权

本文详细介绍了文本预处理的过程，包括读取数据集、词元化和构建词表。通过将H.G.Well的《时光机器》文本作为示例，展示了如何将文本拆分为词元，建立词表并将其转换为数字序列，以便于模型处理。同时，文章讨论了词元化策略，如忽略标点和大小写，并提到了词表构建中对于低频词元的处理方法。

摘要由CSDN通过智能技术生成

文本预处理步骤通常包括：

将文本作为字符串加载到内存中。

将字符串拆分为词元（如单词和字符）。

建立一个词表，将拆分的词元映射到数字索引。

将文本转换为数字索引序列，方便模型操作。

import collections
import re
from d2l import mxnet as d2l

读取数据集

首先，从H.G.Well的时光机器中加载文本。这是一个相当小的语料库，只有30000多个单词，而现实中的文档集合可能会包含数十亿个单词。下面的函数将数据集读取到由多条文本行组成的列表中，其中每条文本行都是一个字符串。为简单起见，在这里忽略了标点符号和字母大写。

#@save
d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',
                                '090b5e7e70c295757f55df93cb0a180b9691891a')

def read_time_machine():  #@save
    """将时间机器数据集加载到文本行的列表中"""
    with open(d2l.download('time_machine'), 'r') as f:
        lines = f.readlines()
    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines]

lines = read_time_machine()
print(f'# 文本总行数: {len(lines)}')
print(lines[0])
print(lines[10])