Bert4torch 快速入门实战教程非常详细

本人经常会阅读苏神的科学空间网站，里面有很多对前言paper浅显易懂的解释，以及很多苏神自己的创新实践；并且基于bert4keras框架都有了相应的代码实现。但是由于本人主要用pytorch开发，因此参考bert4keras开发了bert4torch项目，实现了bert4keras的主要功能。

目录

简介

主要功能

支持的预训练权重(bert4torch)

实战

1. 建模流程示例

2. 主要模块讲解

1) 数据处理部分

a. 精简词表，并建立分词器

b. 好用的小函数

2) 模型定义部分

3) 模型评估部分

3. 其他特性讲解

1) 单机多卡训练

a. 使用DataParallel

b. 使用DistributedDataParallel

2) tensorboard保存训练过程

3) 打印训练参数

---

简介

bert4torch是一个基于pytorch的训练框架，前期以效仿和实现bert4keras的主要功能为主，方便加载多类预训练模型进行finetune，提供了中文注释方便用户理解模型结构。主要是期望应对新项目时，可以直接调用不同的预训练模型直接finetune，或方便用户基于bert进行魔改，快速验证自己的idea；节省在github上clone各种项目耗时耗力，且本地文件各种copy的问题。

• pip安装

pip install bert4torch

github链接

https://github.com/Tongjilibo/bert4torch

主要功能

1、加载预训练权重(bert、roberta、albert、nezha、bart、RoFormer、ELECTRA、GPT、GPT2、T5)继续进行finetune