继续预训练BERT实战（pytorch版）

根据相关领域，进一步预训练BERT可大大提高模型的性能。基于此，进行了BERT继续预训练实战。
1、 环境准备
Python=3.6
Torch=1.7.1
Cuda=11
Transformers=3.0.2（不能太新，太新会爆很多问题）
2、 预训练模型准备
2.1、下载预训练模型：chinese-roberta-wwm-ext.rar
链接：https://pan.baidu.com/s/165ZNKiwESmJEADKH9QVvcg
提取码：bert
2.2、下载继续训练代码：pytorch_chinese_lm_pretrain-master.zip
链接：https://pan.baidu.com/s/1i5oviJb6k_GcraDol489wg
提取码：ow1s
3、 数据准备
训练数据为txt格式，文本每行按120个字。刚开始用128个字出问题。主要是有长度限制，具体没细想原因。总之按120个字每行是可行的。行与行之间用空行分割。从网上收集的txt文本，可通过如下代码进行预处理。即将批量的txt文本，直接转成可用作继续训练bert的输入数据。

#coding=utf-8
import os
import os.path #文件夹遍历函数
#获取目标文件夹的路径
filedir = ‘…/law_data’
#获取当前文件夹中的文件名称列表
filenames=os.listdir(filedir)
#打开当前目录下的result.txt文件，如果没有则创建
f=open(’…/result0.txt’,‘w’,encoding=“utf-8”)
#先遍历文件名
for filename in filenames:
filepath = filedir+’/’+filename
#遍历单个文件，读取行数
with open(filepath,‘r’,encoding=“utf-8”) as temf:
#for line in open(filepath):
lines=temf.readlines()
for line in lines:
l=line.strip()
if len(l)>120:
while len(l)>120:
f.write(l[:120])
f.write(’\n\n’)
l=l[128:]
else:
f.writelines(l)
f.write(’\n\n’)
f.write(’\n\n’)
#关闭文件
f.close()

期间可能会出现编码编码错误，可批量转为utf-8编码后再进行处理。批量转utf-8编码的代码如下：

#coding=utf-8
import os
import os.path #文件夹遍历函数

files = os.listdir(".") # 获取当前目录下的文件
from chardet.universaldetector import UniversalDetector

def get_encode_info(file):
with open(file, ‘rb’) as f:
detector = UniversalDetector()
for line in f.readlines():
detector.feed(line)
if detector.done:
break
detector.close()
return detector.result[‘encoding’]

def read_file(file):
with open(file, ‘rb’) as f:
return f.read()

def write_file(content, file):
with open(file, ‘wb’) as f:
f.write(content)

def convert_encode2utf8(file, original_encode, des_encode):
file_content = read_file(file)
file_decode = file_content.decode(original_encode, ‘ignore’)
file_encode = file_decode.encode(des_encode)
write_file(file_encode, file)

if name == “main”:
for filename in files:
file_content = read_file(filename)
encode_info = get_encode_info(filename)
if encode_info != ‘utf-8’:
convert_encode2utf8(filename, encode_info, ‘utf-8’)
encode_info = get_encode_info(filename)
print(encode_info)

将上述代码命名为to_uttf-8.py，并保存在txt文本的相同目录下。然后打开命令行窗口，在当前目下执行如下命令即可：
Python to_uf-8.py
4、 文件路径准备
训练数据文件名为train.txt，存放在当前目录；输出模型存放在当前目录下的output文件夹；
预训练模型的的文件存放在hflroberta文件夹；采用roberta模型进行继续训练。
5、 开始继续预训练
在当前目录下执行如下命令：
python run_language_model_roberta.py --output_dir=output --model_type=roberta --model_name_or_path=hflroberta --do_train --train_data_file=train.txt --do_eval --eval_data_file=eval.txt --mlm --per_device_train_batch_size=4
静静等地即可。

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。¹

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章