bert
江南丶
这个作者很懒,什么都没留下…
展开
-
bert之衍生模型简介
模型特点发布时间ERNIE(baidu)(1)mask字改为mask词(2)使用很多知识类的中文语料进行预训练2019.3XL-Net(1)采用AR模型替代AE模型,解决mask带来的负面影响 (2)引入transformer-xl,提高微调长文本任务的性能2019.6RoBERTa(1)静态Mask变动态Mask (2)移去NSP任务 (3)更大的mini-batch (4)更多的训练数据,更长的训练时间2019.7BERT-WWM(1) 具体...原创 2021-02-19 18:28:00 · 709 阅读 · 0 评论 -
bert之预训练(pretrain)
一、数据准备document: 每个样本是document粒度的,每个document用空行分隔sentence:每个document又拆分为sentence,用换行符区分每个document包含n个(n>=1)sentence具体实例如下:二、tfrecord生成(1)利用 create_pretraining_data.py 即可生成tfrecord代码传送门python create_pretraining_data.py \--input_file=./tmp/zh_t原创 2021-02-19 11:00:52 · 3921 阅读 · 7 评论 -
bert之demo运行
一、设置环境变量export BERT_BASE_DIR=绝对路径/bert/uncased_L-12_H-768_A-12export GLUE_DIR=绝对路径/bert/glue_data可通过pwd命令查看自己bert文件夹的绝对路径然后执行下面命令运行demo:python run_classifier.py \ --task_name=MRPC \ --do_train=true \ --do_eval=true \ --data_dir=$GLUE_DIR/MRP原创 2021-01-29 17:16:28 · 667 阅读 · 3 评论 -
bert之模型下载
1、首先展示的是不同大小的bert模型下载链接BERT-Base, Uncased:L=12,H=768,A=12,总参数=110Mhttps://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zipBERT-Large, Uncased:L=24, H=1024, A=16, 总参数=340Mhttps://storage.googleapis.com/bert_models/2018_10_18原创 2021-01-29 14:33:13 · 3004 阅读 · 0 评论 -
bert 之 MRPC数据下载
一、下载数据集链接:https://pan.baidu.com/s/1zrci6ybE-xw0f0bJ2YnRXA密码:19yf原创 2021-01-29 14:17:48 · 1330 阅读 · 2 评论