【NLP】TorchText介绍与（搜狗语料）文本语料处理案例

原创公众号(谢谢支持)：AIAS编程有道

背景

自然语言处理领域包含很多任务，在日常的任务中序列标注、文本分类等任务也特别多。真正进入项目工程的时候你会发现，我们大多会花费很多时间在数据源处理（读取，切分词，清洗，标准化，特征提取等操作）上。在pytorch中众所周知的数据处理包是处理图片的torchvision，而处理文本的少有提及，快速处理文本数据的包也是有的，那就是torchtext。当然原文档内容较多，这里也只是介绍一些核心内容，后面有机会的话再详细（尝试翻译一下）介绍。除此之外还参考了TorchText用法示例及完整代码。废话不多说，来看看如何使用吧。

ps:需要自己准备好相关的环境哦(pip install torchtext)

1 torchtext概述

站在处理模型训练的角度上，我们需要的数据集是数字化的