0903读BERT心得

一 什么是BERT模型
通过预训练屏蔽子词，先将句子中的部分子词屏蔽，再令模型预测被屏蔽的子词
子词：句子中能拆分的最小单位。

--所谓用MASK方式，随机遮挡15%的子词，其中的80%做全遮挡。
二主要应用场景：
1 处理类似阅读理解的任务
2 处理句子与段落间匹配任务
3 提取句子深层含义特征的任务
4 基于句子或者段落级别的短文本（512以内）的处理任务
三 神经网络基础知识
1 神经网络 neural network--NN  人工神经网络：模仿生物神经网络的结构和功能的数学模型或计算模型。
2 深度学习：使用深度神经网络处理结构规则的多为数据（欧几里得空间数据）、
欧几里得空间：一种特别的度量空间：音频 图相等都是定义在欧几里得空间下的结构化数据（一维二维 多维）
3 计算机神经元的工作流程： z = activate(W*X+b) 输入矩阵X经过W矩阵变换+额外偏置量，最后经过神经元处理函数（激活函数）
   神经网络形成过程：BP反向传播，把模型的误差作为刺激信号，沿着神经元处理信号的反方向逐层传播，并更新节点中的权重W