提出一个藏文文本分类模型,代码及其数据均是公开的。https://github.com/FudanNLP/ Tibetan-Classification
首次不使用任何外部NLP工具,利用端到端的神经网络模型对藏文本本实现分类任务;公开了数据集和代码【难得】
背景环境
1、深度学习在自然语言任务中已经取得了很好的效果;
2、藏文是一种资源匮乏的少数民族语言,无法利用深度学习的方法进行大规模语料库训练得到较好的任务结果。
深度学习方法与传统的NLP方法不同,神经模型将文本中单词的分布式表示(密集向量)作为输入,并生成一个固定长度的向量作为文本的表示。
使用神经模型优点
1、可变长度文本的良好表征能够捕捉到自然语言的语义。
2、减轻手工特征工程的负担,使研究人员无需外部NLP工具(如单词分割器和解析器)即可构建端到端的NLP系统。
模型框架
由于藏文单词之间没有明确的分段,单词词汇量也非常大,因此作者直接从音节和字母(字符)两个层面对藏文文本进行建模,而不进行明确的单词分段。
提出的框架由三层组成:
1&#x