体验mindspore的BERT finetune

最新推荐文章于 2024-07-11 08:52:35 发布
最新推荐文章于 2024-07-11 08:52:35 发布
阅读量259 收藏
点赞数
原文链接：https://bbs.huaweicloud.com/forum/thread-77785-1-1.html
版权

转载地址：https://bbs.huaweicloud.com/forum/thread-77785-1-1.html

作者：girafree

哈喽大家好，我是b站的up主girafree，今天来给大家分享一下mindspore的使用初体验

我在华为的modelarts平台上用今日头条开源的新闻数据集对BERT_base模型做了一次finetune和evalution，具体流程可以参考：https://bbs.huaweicloud.com/blogs/197542

整体上mindspore的使用体验我觉得很舒适，层/模型的定义和keras/pytorch差不多

image.png

另外mindspore在底层架构上也做了很多优化，比如自动微分/自动并行，使得不论是使用体验还是运算性能上都有提升。总体来说还是很值得我们去学习和使用的！

感兴趣的同学欢迎关注我们的公众号、B站，搜索MindSpore即可，也欢迎关注MindSpore的抖音账号：MindSpore梯度森林会，持续给大家分享技术干货哦~

Beef_EATER
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BERT用于推荐系统的finetune记录
qq_39609267的博客
08-14 1085
环境 transformers==2.7.0 pytorch ==1.5.1 思想 先说一下这个推荐模型的大概思路： 收集用户和商品对应的评论，数据集用的是亚马逊的 提取用户id、商品id、对应的评论和评分，其中id转化为从0开始的整数 将数据集按一定比例划分为训练集、验证集和测试集 挖掘用户-商品之间评论的语义信息（通过句向量的方式） 根据句向量预测新的评论可能的评分和真实的评分来进行误差计算 如何finetune 一开始始终不明白BERT-finetune的含义 ，我觉得肯定有很多人一开始接触的时候
详述BERT fine-tune 中文分类实战及预测
xavier_muse的博客
07-13 6391
这几天在研究bert fine-tune相关的知识，现在基本熟悉了，也踩了一些坑，记录一下，一是总结，二是备忘。 bert 的 finetune 主要存在两类应用场景：分类和阅读理解。因分类较为容易获得样本，以下以分类为例，做模型微调： 环境：python 3.6 tensorflow:1.12（必须>=1.11） 完成中文分类需要有一、bert官方开源的代码，二、bert开源的预训练的中文...
MindSpore21日实战训练营-Bert
weixin_45666880的博客
07-29 779
一、Bert简介 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的state-of-th
MindSpore模型精度调优实战（二）精度调试调优思路
archimekai的博客
02-21 866
转载自 华为云论坛https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=106624 MindSpore模型精度调优实战（二） 精度调试调优思路 MindSpore团队 引子：在模型的开发过程中，精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题，我们为MindSpore量身定做了可视化调试调优组件：MindInsight。我们还梳理了针对常见精度问题的调试调优指南，将以“MindSpore模型...
昇思25天学习打卡营第17天|基于 MindSpore 实现 BERT 对话情绪识别
最新发布
pblh123的专栏
07-11 949
BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，由谷歌在2018年提出.对话情绪识别是一种先进的人工智能技术，它通过自然语言处理和深度学习技术来分析对话中的情绪状态
教你用MindSpore实现Bert
Kenji_Shinji的博客
09-05 1018
Bert主体的网络结构定义在src/bert_model.py内，生成数据集的相关代码在src/dataset.py中，src/ finetune_eval_model.py内存放了finetune相关的网络改造代码，src/bert_for_pre_training.py和src/bert_for_finetune.py封装放了训练相关的类，src/config.py中存放了配置信息。使用时通过运行脚本中的命令行入参来选中相应的优化器和模型尺寸，特定需求的优化器参数或模型尺寸可以自行修改此文件。
技术干货 | 学习MindSpore帮助你提升精度调优效率
Kenji_Shinji的博客
07-11 529
最近项目组在考虑AI框架MindSpore，何帮助模型开发者提升精度调优效率的问题，总结了一些思路供参考。模型准确率不高的常见原因模型的准确率不高，模型的metrics达不到预期，常见的原因有以下几方面：1、数据集问题数据集中缺失值过多数据集每个类别的样本数目不均衡数据集中存在异常值数据集中的数据对预测结果帮助不大（例如使用年龄预测性别）2、数据处理算法设计和实现问题数据处理参数有误未对数据进行归一化特征提取算法（如果使用了）存在错误train和validation数据处理方式不一致3、算法设计和实现问题A
mindspore BERT实现对话情感识别
07-01
mindspore BERT实现对话情感识别
基于transformers+bert预训练模型在语义相似度任务上的finetune
03-22
标题中的“基于transformers+bert预训练模型在语义相似度任务上的finetune”指出，这个项目关注的是如何利用transformers库以及BERT（Bidirectional Encoder Representations from Transformers）预训练模型来微调...
【Bert、T5、GPT】fine tune transformers 文本分类/情感分析
05-30
fine-tune transformers distilbert-base-uncased - distilbert 是对 bert 的 distill 而来 - 模型结构更为简单， - bert-base-uncased 参数量：109482240 - distilbert-base-uncased 参数量：66362880 - trainer...
技术干货｜百行代码写BERT，昇思MindSpore能力大赏
Kenji_Shinji的博客
06-30 469
之前在如何评价华为MindSpore 1.5 ?提到了MindSpore的易用性已经具备百行代码写个BERT的能力，这次补上。BERT作为18年NLP里程碑式的模型，在被无数人追捧的同时也被解构分析了无数次，我力争稍微讲清楚模型的同时，让读者也能Get到MindSpore当前的能力。虽然多少有点广告的嫌疑，但是敬请各位看官听我细细讲来。近1000行的BERT实现动了写这个文章的念头是因为使用MindSpore也写了不少模型，尤其做了些预训练语言模型的复现，其间不断的参考Model Zoo的模型实现，当时就有
请问想加载torch预训练好的模型用于mindspore模型finetune有什么方法？
weixin_45666880的博客
07-19 421
正在迁移一个mindspore的网络，已有torch版本，且已经有torch预训练好的权重。从头训练mindspore的网络太耗时，希望可以直接加载torch的权重进行finetune。请问有什么方法可以做到呢？需要把torch的checkpoint转化成MindSpore格式的checkpoint。然后用MindSpore加载checkpoint执行fune-tune任务。...
MindSpore21天实战营手记（二） ：基于Bert进行中文新闻分类
xi_xiyu的博客
07-26 625
课程秉承了“实战”风，老师简单理了一下NLP模型发展脉络，每个时期代表模型的优缺点，就一猛子扎进了BERT的关键技术——Transformer和Attention工作机制，于是编码解码、Query、Key、Values、Embedding、Softmax、矩阵运算带着满满的优越感向我碾压过来。算了，既然这是实战课，理论的问题就不要深究了吧，只要知道BERT是两步训练，知道如何使用ModelArts得到分类结果和评估，就达到今天学习的目的了。 作业过程 这次课后作业比第一课难度低了很多。这主要得益于Mod
昇思MindSpore技术公开课--BERT--学习心得
xiaodouzi6661的博客
01-24 419
最大的收获是对BERT模型的深入理解，包括其预训练过程和下游任务微调的方式。我期待进一步探索BERT模型在各种NLP任务中的应用，同时也希望能够深入研究深度学习和自然语言处理领域的最新发展。BERT的出现标志着自然语言处理领域的新时代，我对其未来的发展和应用充满信心。在学习BERT课程时，我发现理解语言模型的发展历程对于理解BERT的背景和重要性非常重要。关于MindSpore昇思，课程提供了一些有用的示例，但还可以提供更多详细的操作指南，以帮助学习者更轻松地使用这个工具。
昇思MindSpore技术公开课——第二课：BERT
Sunshine_XX的博客
01-23 1019
word2vec/Glove将离散的文本数据转换为固定长度的静态词向量，后根据下游任务训练不同的语言模型；ELMo预训练模型将文本数据结合上下文信息，转换为动态词向量，后根据下游任务训练不同的语言模型；BERT同样将文本数据转换为动态词向量，能够更好地捕捉句子级别的信息与语境信息，后续只需对BERT参数进行微调，仅重新训练最后的输出层即可适配下游任务；GPT等预训练语言模型主要用于文本生成类任务，需要通过prompt方法来应用于下游任务，指导模型生成特定的输出。
Mindspore 公开课 - BERT
Wolf_xujie的博客
01-15 1171
在训练过程中，模型会对句子进行“完形填空”，预测这些被遮盖的词语是什么，通过减小被mask词语的损失值来对模型进行优化。但与Transformer不同的是，BERT使用了可学习的位置信息，并额外增加了表示区分不同句子的段嵌入（segment embedding）。另外，输入的内容最好是document-level的语料，而非sentence-level的语料，这样训练出的模型可以具备抓取长序列特征的能力。输入的两个句子A和B中，B有50%的概率是A的下一句。BERT模型本质上是结合了。
实验课程】MindSpore1.0:MobileNetV2网络实现微调（关键词：MobileNetV2、Fine Tune)
skytttttt9394的博客
07-26 1613
转载地址：https://bbs.huaweicloud.com/forum/thread-83710-1-1.html 作者：archimekai 使用MobileNetV2网络实现微调（Fine Tune） 实验介绍 本实验介绍使用MindSpore，在CPU环境下，mobileNetV2网络做微调训练与验证。 实验目的 掌握如何使用MindSpore进行微调实验开发。 理解微调方法的原理、方法。 了解如何使用MindSpore进行MobileNetV2网络训练与验.
finetune是什么
06-03
例如，在自然语言处理中，我们可以使用预训练的语言模型（如BERT、GPT等）并使用finetune技术来将其适应于文本分类、命名实体识别等任务。在finetune过程中，我们通常会用特定的数据集来微调模型，并调整模型的超...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值