【nlp面试题】为什么Bert的三个Embedding可以进行相加?
前言刚看到这个问题的时候有点蒙圈,三个Embedding是哪三个Embedding?看来bert理解的还是不够,迅速查了下资料。bert中的三个Embedding包括Position Embedding、Token Embedding、Segment Embedding。为何可以相加,可以从矩阵运算的数学层面解释。大矩阵的乘法等于将矩阵切分成小的矩阵分别进行乘法,然后结果相加。下面的图片便于理解。参考为什么Bert的三个Embedding可以进行相加?...
原创
2020-06-08 21:14:03 ·
2869 阅读 ·
0 评论