微调中文改错模型，使用Pytorch+Transformers实现

已于 2023-04-03 16:43:39 修改
阅读量519 收藏 4
点赞数 1
文章标签： pytorch 深度学习 python transformer
于 2023-03-31 14:27:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37402244/article/details/129879411
版权

MacBertCsc-Fine tuning

微调中文改错模型

使用Pytorch+Transformers实现

由于最近自己的需要，使用Transformers库进行了中文纠错的微调模型，并设计了一个GUI程序
训练代码为main.ipynb，在词粒度上面，Accuracy达到了91%的水平
GUI代码为main.py，通过调用保存微调后的模型进行推理
现已开源，有需要的兄弟自取，保证可以运行，如果对你有帮助的话，给个star吧
github链接
gitee链接
软件截图

         Echo
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RLCPAR：一种基于强化学习的中文专利摘要改写模型.docx
06-26
RLCPAR：一种基于强化学习的中文专利摘要改写模型.docx
pycorrector中文文本纠错
weixin_51370333的博客
05-23 645
这里使用的是MacBert4csc 模型网络结构，故还需安装一下依赖。
Transformer训练出来模型怎样保存，保存到那里
最新发布
开发这点事儿
04-29 651
可以是你的本地硬盘上的文件夹，也可以是网络文件系统（如NFS）或云存储服务（如AWS S3）上的目录，具体取决于你的需求和设置。需要注意的是，保存模型时最好确保保存路径具有足够的磁盘空间，以便存储模型的所有相关文件。同时，为了将来能够方便地加载和使用模型，建议将保存路径记录在一个安全的地方，以便需要时能够找到它。执行上述代码后，模型的结构和权重将被保存到指定的目录中。此外，如果你使用的是Hugging Face的Transformers库，并且想要自定义模型的保存路径，你可以通过设置环境变量。
transformer和文本纠错初探
HUSTHY的博客
03-01 3100
一、transformer简单原理和实现 二、模型训练全流程 三、解码策略总结 1、贪心搜索(greedy search) 2、集束搜索(beam search) 3、Top-K采样和Top-p采样
transformer-copy:日语语法错误纠正工具
05-04
变压器复制 纸 小川阳一郎，山本和秀，“考虑日语纠错中的错误趋势的伪错误生成”，自然语言处理学会第二十六届年会 示范现场 目录结构 应用程序应用程序源代码 corpus_scripts脚本，例如数据集预处理 数据将您要使用的数据集放在这里 data_art伪错误将生成的数据放在此处 字典 把词汇词典放在这里 需要与实验中使用的除法单元相对应的字典 出来 data_bin 火车的二进制文件，有效数据集 data_bin_art 伪数据集的二进制文件 data_raw 测试数据集原始文件 日志日志文件 楷模模型文件 结果生成结果 执行程序 资料集 准备要使用的数据集 程序： 分割数据集（分词等） 分为训练，有效，测试 错误句和正确句分开文件 放置在data目录中 文件名示例： corpus.train.src＃训练数据的错误句侧 corpus.train.tgt＃更正训练数据的文本侧 co
Interspeech 2019 | 阿里达摩院语音实验室：联合CTC和Transformer的自动中文纠错模型
qq_32172681的博客
12-17 618
http://www.sohu.com/a/340981493_129720
基于 pytorch-transformers 实现的 BERT 中文文本分类代码
06-06
基于 pytorch-transformers 实现的 BERT 中文文本分类代码 数据： 从 THUCNews 中随机抽取20万条新闻标题，一共有10个类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐，每类2万条标题数据。数据...
基于pytorch+python实现一个中文到英文的神经网络的翻译模型.zip
07-09
本次实验的目标是用编码器和解码器实现一个中文到英文的神经网络的翻译模型。 编码器使用 LSTM 的序列神经网络，将我们的目标句子通过时间序列输入，最终将一个中文的文本句子编码成一个特定维数的向量。我们这里...
人工智能-项目实践-意图识别-pytorch+bert实现的意图识别与槽位填充.zip
12-14
人工智能-项目实践-意图识别-pytorch+bert实现的意图识别与槽位填充 说明 基本思路就是：分类+序列标注（命名实体识别）同时训练。 使用的预训练模型：hugging face上的chinese-bert-wwm-ext 依赖： pytorch==1.6+...
pytorch+lstm实现的pos示例
01-20
学了几天终于大概明白pytorch怎么用了 这个是直接搬运的官方文档的代码 之后会自己试着实现其他nlp的任务 # Author: Robert Guthrie import torch import torch.autograd as autograd import torch.nn as nn import...
Python实时摄像头摇头检测代码 使用pytorch+opencv实现 基于人脸检测关键点
08-09
# Python实时摄像头摇头检测代码 使用pytorch+opencv实现 基于人脸检测关键点 本项目使用 RetinaFace 模型来进行人脸检测，并使用检测出的人脸关键点进行摇头检测。通过计算双眼到眉心的距离比例在时序上的方差来...
bert_for_corrector:基于bert进行中文文本纠错
03-21
BERT模型具有遮罩功能的正确错误字符 实在抱歉，之前做项目比较急，然后没有完全上传完文件，导致大家使用受阻，替换更新有人提醒该模型，近期发生，特意将奉上，提取码为：hhxx另外其中某些得文件也有发表，安心食用。 使用说明 保存预训练模型在数据文件夹下├──数据│├──bert_config.json │├──config.json │├──pytorch_model.bin │└──vocab.txt ├──bert_corrector.py ├──config.py ├──logger.py ├──Forecast_mask.py ├──README.md └──text_utils.py 运行bert_corrector.py可以进行bert_corrector.py 。 python bert_corrector.py 运行'predict_mask.py'可以直接观察用[m
【GPT】文本生成任务（生成摘要、文本纠错、机器翻译等的模型微调）
发现问题，并解决问题，批判性思维
04-25 5459
note 文章目录note一、NLG任务二、NLG之文本摘要2.1 基于mT5的文本摘要2.2 基于openai接口测试2.3 基于chatGPT接口三、根据自己的数据集进行模型微调四、文本纠错任务五、机器翻译任务Reference 一、NLG任务 NLG：自然语言生成任务，很多NLP任务可以被描述为NLG任务，如经典的T5模型（text to text transfer transformer模型）就是NLG模型，如文本纠错任务，输出正确的文本描述、智能问答根据一定背景进行推理，然后回答。 # 安装一些必
ASR文本纠错模型
03-29 5673
文本纠错任务是一项NLP基础任务，其输入是一个可能含有错误字词的句子，输出是一个正确的中文句子。ASR（语音识别）文本的错误类型很多，有多字、少字、错别字、同音近音字等等。
【Transformers】第 5 章：微调文本分类的语言模型
sikh_0529的博客
11-03 2697
在本章中，我们将学习如何为文本分类配置预训练模型，以及如何对其进行微调以适应任何文本分类下游任务，例如情感分析或多类分类。我们将使用众所周知的数据集，例如 GLUE，以及我们自己的自定义数据集。我们可以使用回归模型来解决这类问题，其中输出的类型是数字的，而不是分类的。总而言之，我们讨论并进行了使用 Trainer 的微调单句分类、使用本地 PyTorch 没有 Trainer 的情感分类、单句多类分类和微调句对回归。我们还将使用不同的数据集。但是，在本节中，我们将从头开始微调预训练模型，以了解幕后情况。
transformer bert微调实例---细节解读
王小二的博客
12-22 2538
源码来源：https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification 代码解读 #!/usr/bin/env python # coding=utf-8 """ Finetuning the library models for sequence classification on GLUE.""" # You can also adapt this script on your
BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务
热门推荐
FrenzyTechAI的博客
07-27 1万+
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年发布。BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。BERT模型是一种双向的深度学习模型，它可以同时考虑上下文中的所有单词，从而更好地理解句子的含义。BERT模型已被证明在多项NLP任务上取得了最佳结果，包括问答、文本分类、命名实体识别等。
自然语言处理——基于预训练模型的方法——第8章 预训练语言模型进阶
谢谢你们的关注
07-09 1300
自然语言处理——基于预训练模型的方法——第8章 预训练语言模型进阶
调用“抱抱脸团队打造的Transformers pipeline API” && 通过预训练模型，快速训练和微调自己的模型
Flying Bulldog 的博客
05-13 5592
本文章根据官方文件总结而成，根据第三方库Transformers and pytorch快速搭建自己的神经网络架构，数据集包括语音、文字、图像等，实用性非常强！使用预训练模型有很多好处。 它降低了计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 为各种任务提供了对数千个预训练模型的访问。 当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。 这被称为微调，一种非常强大的训练技术。 在本教程中，您将使用您选择的深度学习框架微调预
利用PyTorch-Transformers实现gpt算法
04-01
PyTorch-Transformers是一个基于PyTorch的自然语言处理工具包，可以用于实现各种预训练模型，包括GPT、BERT等。首先需要在命令行中安装PyTorch-Transformers： ``` pip install pytorch-transformers ``` 2. 加载...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值