作者:禅与计算机程序设计艺术
1.简介
2020年是机器学习和人工智能领域的一年。在这一年里,AI模型能力的突飞猛进已经为很多行业提供了巨大的发展空间。而对于一些复杂且具有挑战性的问题,传统的基于规则、经验的解决方案并不能胜任,这时候人们就需要借助数据科学的力量来对数据进行分析处理。然而,在大数据时代,如何对离散型数据进行分析处理,仍然是一个重要的话题。在这个背景下,本文将以处理文本数据的NLP(Natural Language Processing)任务作为主要研究对象,介绍常用的文本分类方法。
在进行NLP相关的任务之前,首先需要了解一下“文本数据”的定义及特征。
文本数据
定义
“文本数据”(text data)是指由一串或多串符号组成的数据,用来表示某种文字或者语言等信息,包括但不限于文字、数字、音频、视频、图像、网页、文档、报纸、电子邮件、系统日志等形式。通俗的讲,文本数据就是各种文字和其他符号组成的有意义的输入信息。
特征
- 有意义的信息
- 含有丰富的内容
- 规模庞大,通常很难完全存储
- 可变长
- 不具有唯一标识
- 结构化、非结构化、混合型
从上面的特征中可以看出,文本数据具备