bert 属于自监督学习的一种（输入x的部分作为label）
1. bert是 transformer 中的 encoder ，不同的bert在encoder层数、注意力头数、隐藏单元数不同
2. 假设我们有一个模型 m ，首先我们为某种任务使用大规模的语料库预训练模型 m 。现在来了一个新任务，并有一个新模型，我们使用已经训练过的模型(预训练的模型) m 的参数来初始化新的模型，而不是使用随机参数来初始化新模型。然后根据新任务调整(微调)新模型的参数
3. bert（预训练做两个任务，一是填空（预测被屏蔽掉的词）二是 NSP 判断是否下一句（预测CLS）），但接下来可以做其他任务，又叫微调（需要一些标注数据）
4. 输入到bert模型之前需要编码
token embedding + segment embedding + position embedding
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
