BERT:语言理解深度双向Transformers的预训练
BERT
Programmer Monkey
数据质量提升
展开
-
论文相关知识:关于一些英文术语的解释
我这边终于见到我的另一个导师了,因为要加班接着搞一下前面没看完的那本书,就导致深度学习这边这篇文章的研究到此为止吧,主要是剩下的一大堆东西我也没找到合理的解释,有一些术语确实也看不太懂,一些思想也弄不懂。等后面在慢慢了解的时候可能就慢慢弄懂了。原创 2022-09-15 21:26:53 · 204 阅读 · 0 评论 -
论文相关知识:L1正则化与L2正则化
这两天看了一些关于L1和L2正则化的知识,因为读论文的时候看到了。之前做项目的时候也接触过这个,但是了解的不是特别多,现在相当于好好的了解了一下。原创 2022-09-12 15:01:50 · 302 阅读 · 1 评论 -
论文相关知识:自回归模型简介
自回归模型简介原创 2022-09-11 21:06:54 · 73 阅读 · 0 评论 -
论文相关知识:End-to-End Memory Network
End-to-End Memory NetWork 学习整理原创 2022-09-10 21:11:37 · 85 阅读 · 0 评论 -
论文相关知识:神经网络中几个基本的术语
关于batch batchsize等一些概念的理解原创 2022-09-10 09:32:12 · 172 阅读 · 0 评论 -
论文相关知识:Transformer模型详解
这一段其实前面对于Self-Attention以及Multi-Head Attention已经铺垫了一部分了,这部分就进行细聊吧。原创 2022-09-09 18:53:31 · 267 阅读 · 0 评论 -
相关论文:Attention Is All You Need翻译
终于用了几天时间把Transformer模型的原文看了一下,刚翻译出来,还没来得及细看。接着去写一下我之前的笔记,弄完之后再细看一下本文。原创 2022-09-07 22:27:42 · 132 阅读 · 0 评论 -
论文相关知识:self-attention与Multi-Head Attention详解
对于本文中所写的内容,我仍有一个疑惑就是QKV这三个矩阵到底是干什么用的, 本文只是浅谈了它的作用,并没有加以解释,因此打算再查阅一些详细资料。原创 2022-09-04 19:31:53 · 120 阅读 · 0 评论 -
论文相关知识:线性变换的矩阵表示
线性变换的矩阵表示原创 2022-09-03 18:15:38 · 220 阅读 · 0 评论 -
论文相关知识:关于self-attention中Attention Function公式的介绍
关于self-attention中Attention Function公式的介绍。原创 2022-09-03 14:43:39 · 162 阅读 · 0 评论 -
论文相关知识:束搜索
束搜索简介原创 2022-09-02 21:56:00 · 84 阅读 · 0 评论 -
论文相关知识:Seq2Seq简介
今天准备弄一下Transformer模型的,然后看的时候看到了self-attention,结果就学到seq2seq和束搜索去了。原创 2022-09-02 21:52:12 · 194 阅读 · 0 评论 -
论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding翻译
最近开学,这篇论文翻译了得翻译了三四天才翻译出来,由于很多术语不是很懂,也就是一个初翻版本用来学习用的,凑活着看吧。原创 2022-09-02 11:12:06 · 202 阅读 · 0 评论