![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
用户画像论文
文章平均质量分 80
小哆啦cc
与人方便,随遇而安。
展开
-
Bert 基础解读 (三) 看不明白你打我
BERT的全称为Bidirectional Encoder Representation from Transformers,如果翻译过来也就是双向transformer编码表达,是一个预训练的语言表征模型。预训练模型首先我们要了解一下什么是预训练模型,举个例子,假设我们有大量的维基百科数据,那么我们可以用这部分巨大的数据来训练一个泛化能力很强的模型,当我们需要在特定场景使用时,例如做...原创 2021-11-10 11:34:50 · 876 阅读 · 2 评论 -
Bert基础解读(一)—— transformer之attention机制(self-attention)看不明白你打我
1.self-attention在之前处理序列问题的时候,用的是rnn,现在我们把rnn层换成self-attention层。图1 任何用rnn的都可以被替换成self-attention层标题那么具体是怎么做的呢?我们首先以上图为例讲解。a1,a2,a3,a4是一个sequence(序列),我们首先为每一个input a1,a2,a3,a4 乘以一个矩阵,通过embedding...原创 2021-11-10 11:34:02 · 4226 阅读 · 4 评论 -
User Profiling through Deep Multimodal Fusion
写在前面:小小白读的第一篇论文,读的不是很明白,特地记录下来,写的不好,仅供自己参考。如果写的不对还请大家多多指教,多多交流。 PS:绿色文字代表我不是很确定我的想法是不是正确,或者我读不懂的地方,红色文字代表经过查找询问等方法后对绿色文字部分的解答。划线这种代表第一次理解错的地方,因为想记录一下思考过程,所以留了下来。另外,本文的相关链接,都是作者看过很多相关文章之...原创 2019-10-06 23:19:11 · 1460 阅读 · 1 评论