BERT的学习
由于没接触过,所以从从最初的进行学习
longshendaren
AI方向在读生
展开
-
Word Embedding的学习
Word Embedding的概述: 根据之前对One Hot的介绍,我们发现它不能够表现出词语之间的相似度,因此提出Word Embedding。 首先,我们提一下分布式表示(distributed representation):若干元素的连续表现形式,将词的语义分布式地存储在各个维度中,与之相反的是独热向量(One Hot)。 而Word Embedding(词嵌入)是基于神经网络的分布式表示,也可称之为词向量,是将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。总的来说,它.原创 2020-10-20 15:15:52 · 318 阅读 · 0 评论 -
Embedding的理解
Embedding 嵌入,我们可以将其理解为一种降维行为。可以将高维数据映射到低维空间来解决稀疏输入数据的问题。 它主要有以下三个目的: 在 embedding 空间中查找最近邻,这可以很好的用于根据用户的兴趣来进行推荐。 作为监督性学习任务的输入。 用于可视化不同离散变量之间的关系。 此时,我们先介绍一下One Hot编码。这是一种表示离散数据很常见的编码方法,用N位状态寄存器对N个状态进行编码。 编码的第一步是确定编码对象,eg:[“中国”、“美国”、“日本”、“中国”],紧接着确定分类..原创 2020-10-19 20:46:53 · 2973 阅读 · 1 评论