哈工大讯飞联合实验室发布少数民族多语言预训练模型CINO

最新推荐文章于 2024-07-19 17:17:26 发布
最新推荐文章于 2024-07-19 17:17:26 发布
阅读量4.5k 收藏 24
点赞数 7
文章标签： 大数据 python 机器学习 人工智能 编程语言
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247506623&idx=3&sn=491d1ba7aace0d2d636618db0daa526a&chksm=eb53ce2cdc24473a62ea69ad80e09beb38e53847c2603495eda3e40c7e6bc910a4720735f2f8&scene=126&&sessionid=0
版权

每天给你送来NLP技术干货！

来自：哈工大讯飞联合实验室

在自然语言处理领域中，预训练语言模型已成为重要的基础技术和资源。在多语言理解相关的研究中，预训练模型的使用也愈加普遍。然而，由于国内少数民族语言语料稀缺、获取难度大等原因，相关技术研究相对匮乏，并且现有的多语言模型无法很好地处理绝大多数国内少数民族语言文字。

为了促进中国少数民族语言信息处理的研究与发展，哈工大讯飞联合实验室（HFL）发布首个面向少数民族语言的多语言预训练模型CINO (Chinese mINOrity pre-trained language model，读音同sino)，弥补相关资源的空白。目前相关预训练模型和任务数据已开源，欢迎各位读者下载使用。

d4dd1d03d94c05c98b316a7cbbeb7277.png

项目地址：

  • https://cino.hfl-rc.com

  • https://github.com/ymcui/Chinese-Minority-PLM

CINO模型简介

CINO基于多语言预训练模型XLM-R开发，在多种少数民族语言语料上进行了二次预训练，提供了藏语、蒙语（回鹘体）、维吾尔语、哈萨克语（阿拉伯体）、朝鲜语、壮语、粤语等少数民族语言与方言的理解能力。

59472be88206998d5189bf7a7a2698f0.png

为了便于评价包括CINO在内的各个多语言预训练模型在少数民族语言任务上的性能，我们构建了基于维基百科的少数民族语言分类任务数据集Wiki-Chinese-Minority（WCM）。实验结果表明，CINO在WCM数据集以及其他少数民族语言数据集上获得了最好的效果。

本次推出的CINO模型是large版本（参数量：585M），包含24层Transformer，隐层大小为1024。在未来，我们将推出更多版本的预训练模型以适应不同需求。

性能效果

我们在新构建的WCM多语言分类数据集、KLUE推出的朝鲜语文本分类YNAT、复旦大学推出的藏语文本分类TNCC上验证了模型效果。CINO相比其他基线模型获得了显著的性能提升。

1、Wiki-Chinese-Minority（WCM）多语言分类

我们基于少数民族语言维基百科语料及其分类体系标签，构建了分类任务数据集Wiki-Chinese-Minority（WCM）。该数据集覆盖了蒙古语、藏语、维吾尔语、哈萨克语、朝鲜语、粤语、中文共七种语言和方言，包括艺术、地理、历史、自然、自然科学、人物、技术、教育、经济和健康十个类别。我们在中文训练集上训练，在其他语言上做zero-shot测试，评价指标为macro-F1。

表1 少数民族多语言分类数据集WCM效果

d8bca0ce2c9201af727ef5f63609f6b3.png

2、朝鲜语文本分类（YNAT）

该任务选用KLUE团队发布的朝鲜语新闻主题分类数据集YNAT。训练集包含45,678条样本，分为7个类别，评价指标为macro-F1。

c8b895fe3b51e242490f31065bea6e74.png

图2 朝鲜语文本分类YNAT效果

3、藏语文本分类（TNCC）

该任务选用由复旦大学自然语言处理实验室发布的藏语新闻数据集Tibetan News Classification Corpus (TNCC)。数据集包含9,203条样本，分为12个类别。我们按8:1:1的比例将其划分为训练、开发、测试集，评价指标为macro-F1。

49a8db693009678cdfb4524ac23d24e7.png

图3 藏语文本分类TNCC效果

快速加载

哈工大讯飞联合实验室发布的所有预训练语言模型均可通过🤗transformers库进行快速加载访问，目前已开源30多个预训练模型。请登录我们的模型库页面获取更多信息。

https://huggingface.co/HFL

57a3290e95ab64a267c883a703e3201a.png

未来展望

少数民族语言处理是中文信息处理中不可缺少的一环，也是中文信息处理多样性的一种体现。近年来，从国内外自然语言处理重要会议和期刊来看，关于国内少数民族语言的研究正稳步增多，说明越来越多的研究人员意识到少数民族语言处理的重要意义。

我们希望随着少数民族语言预训练模型CINO的推出，能够进一步促进少数民族语言相关的技术研究，推动少数民族语言相关技术的应用落地。例如，借助CINO的跨语言理解能力，将中文上的NLP能力直接迁移至少数民族语言而无需额外的训练数据，降低了开发成本。另一方面，CINO的多语言理解能力可以比较不同语言的语义，从而使得中文与少数民族语言之间的跨语言检索成为可能。未来我们将进一步优化CINO模型及配套数据和代码，为少数民族语言NLP研究提供更多基础资源。

其他相关资源

  • 中文BERT、RoBERTa：http://bert.hfl-rc.com

  • 中文XLNet：http://xlnet.hfl-rc.com

  • 中文ELECTRA：http://electra.hfl-rc.com

  • 中文MacBERT模型：http://macbert.hfl-rc.com

  • 知识蒸馏工具TextBrewer：http://textbrewer.hfl-rc.com

编辑：HFL编辑部

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

a0e10ff95df91f0d8f141f251ace4d88.png

记得备注呦

整理不易，还望给个在看！
zenRRan
关注
  • 7
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第十三章：多语言预训练模型
禅与计算机程序设计艺术
05-04 453
第十三章：多语言预训练模型 1. 背景介绍 1.1 自然语言处理的重要性 在当今的数字时代,自然语言处理(NLP)已经成为人工智能领域中最重要和最具挑战性的研究方向之一。随着人机交互的日益普及,有效地理解和生成自然语言对于构建智能系统至关重
TiBERT：藏语预训练语言模型——中文翻译
lbl_1999_mx的博客
03-27 2281
​ 以BERT为代表的预训练语言模型改变了自然语言处理的研究范式。这些模型可以在大规模无标记语料库上进行预训练，获得丰富的上下文表征，通过迁移学习，具有小规模标记数据集的下游任务也可以获得更好的性能，解决了低资源语言中标记数据较少的问题。因此，预训练的语言模型对于藏语等低资源语言至关重要。​ 目前，单语预训练语言模型主要集中在汉语和英语领域，资源较少，尚未得到充分应用。为了解决这个问题，谷歌发布了多语言模型[1]。多语言预训练模型可以同时处理多种语言，并为多种低资源语言的下游任务提供支持。
探索中文少数民族预训练模型：Chinese-Minority-PLM
gitblog_00021的博客
03-29 429
探索中文少数民族预训练模型：Chinese-Minority-PLM 项目地址:https://gitcode.com/ymcui/Chinese-Minority-PLM 在这个全球数字化的时代，自然语言处理（NLP）在很多领域中发挥了重要作用，如智能客服、机器翻译和文本理解等。然而，对于中文少数民族语言的理解和处理，却往往面临着资源匮乏的问题。为此，我们推荐一个开源项目——Chinese-Mi...
论文阅读笔记：基于预训练模型和图神经网络的藏文文本分类研究【2023】
qq_45877696的博客
10-30 395
本文提出一种真对藏文长文本分类的方法CINO-GCN，通过微调与训练语言模型CINO作为嵌入层，获得藏文文档和音节的特征表示，然后根据整个数据集的音节共现关系和文档间的TF-IDF值对藏文文本图进行建模，与CINO生成的结点特征输入到图卷积神经网络（GCN）做进一步的特征提取，最后通过softmax得到分类结果。
多语言预训练模型通过在预训练阶段增加语言数量、采用MLM自监督训练等方式，使预训练模型具备了多语言和跨语言理解的能力
07-02
在自然语言处理领域中，预训练语言模型（Pre-trained Language Model, PLM）已成为重要的基础技术，在多语言的研究中，预训练模型的使用也愈加普遍。为了促进中国少数民族语言信息处理的研究与发展，哈工大讯飞联合实验室（HFL）发布少数民族语言预训练模型CINO (Chinese mINOrity PLM)。
mongolian-bert:预训练的蒙古BERT模型
05-09
蒙古BERT型号 该存储库包含由 ， 和训练的经过预训练的蒙古模型。 特别感谢提供了5个TPU。 该存储库基于以下开源项目： ，和 。 楷模 词汇量为32000的用作文本标记器。 您可以使用蒙版语言模型笔记本 测试经过预训练的模型可以预测蒙面蒙语单词的效果如何。 BERT-Base： 和 BERT-Large： HuggingFace 未装箱的BERT-Base： TensorFlow检查点和PyTorch模型 未装箱的BERT-Large： HuggingFace 盒装BERT-Base 下载TensorFlow检查点或PyTorch模型。 评估结果： global_step = 4000000 loss = 1.3476765 masked_lm_accuracy = 0.7069192 masked_lm_loss = 1.2822781 next_sentence_a
高性能智能交互框架Cino：赋能AI应用的新纪元
gitblog_00063的博客
03-29 472
高性能智能交互框架Cino：赋能AI应用的新纪元 项目地址:https://gitcode.com/iflytek/cino 项目简介 Cino 是由科大讯飞开源的一款高性能、高可用的智能交互框架。它旨在提供一个灵活且强大的平台，帮助开发者快速构建和部署各类AI应用场景，如智能语音助手、智能家居控制、智能客服系统等。基于Cino，你可以轻松地集成自然语言处理（NLP）、语音识别、语音合成等多种A...
机器学习-分析Titanic数据集
热门推荐
一条小咸鱼的成长之路
06-24 1万+
学校的机器学习课程期末作业竟然是分析Kaggle中的经典题目，泰坦尼克数据集。在此将整个分析流程记录一下。 Kaggle地址：https://www.kaggle.com/c/titanic/overview 1.引入所需库 由于数据分析需要读取csv文件，以及对数据矩阵进行处理，我们引入pandas和numpy库。 # 数据分析 import pandas as pd import numpy as np 由于在数据分析过程中需要绘制图案，以直观的分析数据，我们需要引入matplotlib和seabo.
【wiki维基百科中文数据集】抽取wiki数据集——实操
weixin_34001430的博客
04-24 5407
参考 【https://blog.csdn.net/wangyangzhizhou/article/details/78348949】 【另外一篇参考处理wiki数据】 　　【1】【https://blog.csdn.net/sinat_26917383/article/details/79462107】 　　　　【上述代码】【https://github.com/mattzheng/...
cinomain.zip
08-17
《CINO：少数民族语言预训练模型的探索与应用》 在当今信息技术日新月异的时代，人工智能（AI）特别是自然语言处理（NLP）领域的进步为各领域带来了深远影响。预训练模型作为NLP的核心技术之一，已经在中文文本处理...
cino蓝牙扫描仪连接PC
05-10
蓝牙扫描仪连接步骤蓝牙扫描仪连接步骤蓝牙扫描仪连接步骤
centos（或openEuler系统）安装kafka集群
时时刻刻看着自己的心的专栏
07-18 975
kafka集群 kraft模式，不用zookeeper
RTI DDS大数据碎片
qq_33089547的博客
07-17 967
PublicationBuiltingTopicData或SubscriptionBuiltnTopicData样本较大的最常见原因是序列化的TypeCode或TypeObject，但您也可能发送了大量属性（通过7.5.19 PROPERTY QosPolicy（DDS扩展））或具有较大的ContentFilteredTopic筛选器表达式，以及其他大小可变的字段，这可能会导致样本大小较大。如果您尝试发送一个大小大于MTU的DDS样本，但尚未设置DDS级碎片，您将看到IP级碎片。
Python机器学习、深度学习技术提升气象、海洋、水文领域实践技术
weixin_58566962的博客
07-15 305
Python是功能强大、免费、开源，实现面向对象的编程语言，能够在不同操作系统和平台使用，简洁的语法和解释性语言使其成为理想的脚本语言。除了标准库，还有丰富的第三方库，Python在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能。上述优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海洋领域拥有海量的模式和观测数据，是大数据和人工智能应用的天然场景。
Kudu节点数规划
最新发布
07-19 454
由于Kudu是Hadoop生态的一部分（虽然它不依赖于Hadoop生态系统），因此大多数实际应用场景需要的不仅仅是Kudu；为了输入数据，可能需要Kafka、StreamSets或Spark Streaming；对于机器学习和数据处理，可能需要Spark；对于交互式SQL，我们也肯定想要Impala。实际上，Kudu和Hadoop生态系统紧密低集成正是其优势之一，因此我们很少单独使用Kudu，所以，在讨论Kudu集群规划时，一般不仅仅是考虑到Kudu。
每天一个数据分析题（四百三十九）- 用户画像
shiguangre的博客
07-19 257
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！用户画像是互联网企业常用的技术手段，通过对用户进行画像来实现精准营销等商业活动。下面关于用户画像的说法错误的是（）D. 用户画像本质上是用户数据标签化。C. 用户标签必须描述客观的事实。A. 用户画像具有动态性。B. 用户画像具有时效性。
第二届大数据、计算智能与应用国际会议（BDCIA2024）
爱思德学术
07-15 241
EI会议论文集：本届会议的论文均会安排严格的同行评审，接收论文将集结出版，出版后送交EI Compendex, Scopus等数据库收录。大会邀请到来自美国、英国、加拿大、新加坡、意大利、越南等10余位领域内学术大咖作主题报告，并与参会人员互动交流。知网收录期刊：投稿后3-5天即可返回审稿结果，录用率高，一般2周左右见刊。EI期刊：正刊版面，JA检索类型，3-6个月发表。SCI期刊：欧洲国家出版，IF=5+，二区期刊。会议日期：2024年11月15-17日。会议地点：中国-湖北省-黄冈市。
mybatisplus和pagehelper冲突 pagehelper不显示
09-15
你好，遇到MyBatis Plus和PageHelper冲突导致PageHelper的功能无法显示的问题，可能是因为两者都对MyBatis进行了扩展，造成了冲突。 解决这个问题的一种方式是使用MyBatis Plus提供的分页插件而不是PageHelper。MyBatis Plus已经集成了分页功能，可以直接使用它提供的分页查询方法。 如果你仍然想使用PageHelper，你可以尝试进行以下操作： 1. 确保只引入了一个分页插件。检查你的项目依赖中是否同时引入了MyBatis Plus和PageHelper，如果是的话，可以移除其中一个。 2. 检查你的配置文件中是否正确配置了分页插件。在MyBatis的配置文件中，确保已经正确配置了PageHelper插件。你可以参考PageHelper的官方文档来配置。 如果以上方法仍然无法解决问题，建议你提供更多的信息，例如具体报错信息或相关代码片段，以便我能够更好地帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值