BERT简述

BERT 下 面 详 细 解 释 一 下 BERT 的 特 点 。

首 先 BERT 只 有 encoder 没 有 decoder 。 这 很 容 易 理 解 ， 因 为 BERT 是 一 个 通 用 的 预 训 练 模 型 ， 可 以 接 各 种 下 游 任 务 ， 它 的 输 出 只 是 文 本 表 示 ， 所 以 不 能 使 用 固 定 的 decoder 。

第 二 点 ， BERT 是 百 层 左 右 的 深 度 神 经 网 络 ， 才 能 把 各 种 语 言 学 的 特 征 提 取 出 来 。 BERT 面 世 之 前 ，NLP 领 域 的 神 经 网 络 基 本 上 只 有 几 层 ， Transformer 架 构 之 后 才 有 可 能 将 NLP 网 络 推 向 几 十 上 百 层 。 浅 层 是 分 析 语 法 ， 词 法 层 级 的 特 征 ， 深 层 进 入 语 义 的 范 畴 。

第 三 点 ， 非 常 重 要 的 一 点 ， BERT 是 一 个 预 训 练 模 型 ， 这 意 味 着 做 NLP 项 目 的 起 点 已 经 大 幅 提 升 。 在 2018 年 之 前 ， 任 何 一 个 NLP 项 目 的 起 点 都 是 以 Word2Vec 为 代 表 的 词 向 量 。 我 们 拿 到 一 句 话 的 词 向 量 之 后 ， 自 己 构 建 句 向 量 ， 再 实 现 下 游 任 务 。 构 建 句 向 量 的 过 程 往 往 是 简 单 的 词 向 量 平 均 或 者 加 总 ， 难 以 实 现 深 层 语 义 的 提 取 ， 导 致 下 游 任 务 效 果 较 差 。

相 信 从 BERT 开 始 ， 会 出 现 各 种 细 分 领 域 的 语 言 模 型 ， 效 果 也 会 越 来 越 好 。 第 四 个 特 点 ， BERT 是 用 self - attenti