WoBERT Pytorch使用

最新推荐文章于 2024-08-12 09:05:21 发布
最新推荐文章于 2024-08-12 09:05:21 发布
阅读量1.6k 收藏 3
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiang425776024/article/details/113818986
版权

pytorch实现的WoBERT + 新闻多分类样例

 

代码：

https://github.com/425776024/WoBERT

 

1.安装依赖

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

2.WoBERT模型下载

方式1.

从https://github.com/ZhuiyiTechnology/WoBERT 下载keras模型，然后执行转换变成pytorch的模型

python config/conver.py

方式2.

直接下载使用 ， 链接: https://pan.baidu.com/s/1KbLvVkXriF_x9XZnaYvDhg 密码: 94au

3.配置参数

vim config/configs.yaml

4.train\test

python train.py

 

案例数据

data/train.csv

细节

除了transformers转换模型，主要是tokenizer的变化

  • 1.稍微自定义了个专门的分词，见src/models/bert_model.py:WoBertTokenizer
  • 2.稍微自定义了个专门的BERT分类模型，见src/models/bert_model.py:WoBertClassificationModel
jj_千寻
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
bert中文词向量：wobert、roformer
weixin_42357472的博客
02-25 2526
参考：https://kexue.fm/archives/7758/comment-page-1#comments maxlen = 32 # bert配置 config_path = r'C:\Users\long3.xiang\Desktop\tcl\wobert\chinese_wobert_L-12_H-768_A-12\bert_config.json' checkpoint_path = r'C:\Users\long3.xiang\Desktop\tcl\wobert\chinese_wob
bert的兄弟姐妹梳理——Roberta、DeBerta、Albert、Ambert、Wobert等
小白胖爱学习-的博客
02-27 5050
最近看了一些和bert比较像的算法，做一个简单的梳理吧，本文在已经明白bert的基础上介绍有什么改进哈，没有单独介绍bert哦~ Tokenization 介绍算法前说说关于token的，很多算法其实也都是基于这方面进行改进。简单来说，Tokenization是按照特定需求，把文本切分成一个字符串序列(其元素一般称为token)的过程，这个token的粒度是不一定的，可以是字符、单词甚至是句子。通常情况下，在英文中，使用的是单词或者子词（这里可以学习下BPE），中文中使用字符。事实上，粗粒度和细粒度各有优劣
WoBERT-基于词颗粒度的中文BERT
yaohaishen的专栏
03-17 4475
原文-https://kexue.fm/archives/7758 当前，大部分中文预训练模型都是以字为基本单位的，也就是说中文语句会被拆分为一个个字。中文也有一些多颗粒度的语言模型，比如创新工场的ZEN和字节跳动的AMBERT，但这类模型的基本单位还是字，只不过想办法融合了词信息。目前以词为单位的中文预训练模型很少，据笔者所了解到就只有腾讯UER开源了一个以词为颗粒度的BERT模型，但实测效果并不好。 那么，纯粹以词为单位的中文预训练模型效果究竟如何呢？有没有它的存在价值呢？最近，我们预训练并开源了以
探索WoBERT：预训练语言模型的中国力量
gitblog_00089的博客
04-19 463
探索WoBERT：预训练语言模型的中国力量 WoBERT项目地址:https://gitcode.com/gh_mirrors/wo/WoBERT 项目简介 在深度学习和自然语言处理（NLP）领域，预训练语言模型已经成为一个炙手可热的研究方向。 是由追一科技推出的一款基于BERT的中文预训练模型，旨在为中文场景提供更高效、准确的语义理解和生成能力。 技术分析 BERT的基线与改进 BERT（Bi...
WoBERT:WoBERT Pytorch 版本，中文词汇级Bert：WoBERT学习
05-12
pytorch实现的 + 新闻多分类样例 1.安装依赖 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt 2.WoBERT模型下载 方式1. 从 下载keras模型，然后执行转换变成pytorch的模型 python config/conver.py 方式2. 直接下载使用 ， 链接: 密码: 94au 3.配置参数 vim config/configs.yaml 4.train\test python train.py 5.案例数据 data/train.csv 细节 除了transformers转换模型，主要是tokenizer的变化 1.稍微自定义了个专门的分词，见src/models/bert_model.py:WoBertTokenizer 2.稍微自定义了个专门的BERT分
WoBERT:以词为基本单位的中文BERT
03-30
沃伯特 以词为基本单位的中文BERT（基于单词的BERT） 详情 训练 目前开源的WoBERT是基本版本，在哈工大开源的基础上进行继续预训练，预训练任务为MLM。初始化阶段，将每个词用BERT自带的Tokenizer切分为字，然后用模型使用单张24G的RTX训练了100万步（大概训练了10天），序列长度为512，学习5e-6，batch_size为16，累积梯度16步，，等于batch_size = 256训练了6万步左右。训练语料大概是30多G的通用型语料。 此外，我们还提供了WoNEZHA，这是基于华为开源的进行再预训练的，训练细节跟WoBERT基本一样。NEZHA的模型结构跟BERT相似，不同的是它使用了相对位置编码，而BERT用的是绝对位置编码，因此理论上NEZHA能处理的文本长度是无上限的。这里提供以词为单位的WoNEZHA，就是让大家多一个选择。 2021年03月03日：添加
探索语言深度学习的新境界：WoBERT
最新发布
gitblog_00709的博客
08-12 339
探索语言深度学习的新境界：WoBERT WoBERT项目地址:https://gitcode.com/gh_mirrors/wo/WoBERT WoBERT，全称为“Word-based BERT”，是一个创新的中文预训练模型，以其以词为基本单位的设计理念，打破了传统BERT模型以字为单位的界限。这个开源项目旨在提升中文自然语言处理的性能和效率，为研究者和开发者提供了一个强大的工具，以应对各种复...
PyTorch使用教程.pdf
07-29
以下是一个简化的 PyTorch 使用教程，不采用分点或Markdown格式。 首先，确保你安装了 PyTorch。你可以通过访问 PyTorch 官网获取安装指令，根据你的系统环境（如 Windows, macOS, Linux）和是否使用 GPU 支持进行...
PyTorch使用技巧和教程
04-20
这部分主要讲torch.comple()函数的使用。详细介绍见: 知乎:PyTorch 2.0初探。 以下是一些测试代码，进入./compile/文件后通过python xxx.py进行运行： 运行测试简单函数: python test_simple.py 运行测试resnet50...
使用PyTorch实现图像分类
07-01
PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类...
linux上配置jdk时,java命令提示没有此文件或文件夹的解决方法
01-20
出现这个问题可能有以下几种原因： 1、对该文件没有执行的权限。 2、我们的机器是６４位的，而下载的jdk是３２位的。 我就是后一种原因造成的，好久才想明白。 以上这篇linux上配置jdk时,java命令提示没有此文件或文件夹的解决方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:Linux服务器部署JavaWeb项目完整教程linux系统 java环境变量的配置方法Linux下Java环境变量的安装与配置Java远程连接Linux服务器并执行命令及上传文件功能详解在LINUX上部署带有
PyTorch安装与基本使用详解
09-16
在本文中，我们将深入探讨PyTorch的安装过程以及如何进行基本使用。 首先，为什么我们要学习PyTorch？尽管TensorFlow是另一个广泛使用的深度学习库，但许多最新的研究论文和开源实现都基于PyTorch。PyTorch因其直观...
WoBERT 项目教程
gitblog_00600的博客
08-12 373
WoBERT 项目教程 WoBERT项目地址:https://gitcode.com/gh_mirrors/wo/WoBERT 1. 项目目录结构及介绍 根目录 config.py: 项目的主要配置文件。 preprocess.py: 数据预处理脚本。 train.py: 训练模型的主要脚本。 evaluate.py: 模型评估脚本。 models: 包含不同版本的WoBERT模型定义。 da...
加速 BERT 模型有多少种方法？从架构优化、模型压缩到模型蒸馏最新进展详解
woliuqiangdong的博客
01-30 553
　　BERT 在 NLP 领域的地位正如 ResNet 在 CV 领域的地位一样，属于里程碑的进展。目前，BERT 已经成为 NLP 深度学习管道中的重要组成部分。 　　但 BERT 并不是完美无瑕的，它最大的问题就是：太大。 　　BERT-base 模型能够包含一亿个参数，较大的 BERT-large 甚至包含 3.4 亿个参数。显然，很难将这种规模的模型部署到资源有限的环境（例如移动设备或嵌入式系统）当中。 　　模型太大是其一，BERT 的训练和推理时间也太长了！ 　　在基于 Pod 配...
【深度学习】RoBERTa模型详解和实践
海贼王的博客
01-07 1万+
RoBERTa模型详解和实践 Robustly optimized BERT approach. 内容介绍： RoBERTa改进思路和原文详解 bert4keras工具使用 基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战 代码：基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战(Colab需翻墙) 工具：bert4keras 论文：https://arxiv.org/pdf/1907.11692.pdf CLUE阅读理解排行榜：https://www.cluebenc
RoBERTa中文预训练模型：RoBERTa for Chinese
Paper weekly
09-16 9682
RoBERTa for Chinese, TensorFlow & PyTorch项目主页：https://github.com/brightmart/rober...
BERT模型的详细介绍
热门推荐
IT之一小佬的博客
04-01 11万+
BERT模型的详细介绍 1.BERT 的基本原理是什么？ BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 Ma
我的BERT！改改字典，让BERT安全提速不掉分（已开源）
夕小瑶科技说
09-24 2460
文 | 苏剑林编 | 小轶背景当前，大部分中文预训练模型都是以字为基本单位的，也就是说中文语句会被拆分为一个个字。中文也有一些多粒度的语言模型，比如创新工场的ZEN和字节跳动的AMBER...
pytorch 使用gpu
07-28
要在Mac M1上使用GPU加速PyTorch，您需要安装适用于M1芯片的PyTorch版本。您可以通过以下步骤来安装： 1. 打开终端并输入以下命令以安装Homebrew： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 2. 安装Miniforge： brew install miniforge 3. 创建一个新的conda环境： conda create --name pytorch python=3.8 4. 激活新的conda环境： conda activate pytorch 5. 安装适用于M1芯片的PyTorch： conda install -c apple pytorch 6. 确认PyTorch是否已正确安装： python -c "import torch; print(torch.version.cuda)" 如果输出结果为CUDA版本号，则说明PyTorch已正确安装并可以使用GPU加速。 请注意，由于M1芯片的架构不同于传统的x86架构，因此某些PyTorch功能可能不可用或性能较差。您可以查看PyTorch官方文档以获取更多信息。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值