- 博客(5)
- 收藏
- 关注
RSS订阅原创 pytorch实现BERT
BERT是基于transformer架构的双向编码器表示，这个名称具有两个关键点，首先是基于transformer架构的编码器，其次是双向编码器。第一点类似于生成式预训练模型（GPT），只不过GPT是基于transformer架构的decoder，而BERT是基于transformer架构的encoder。至于第二点双向编码器也可以相对于GPT进行理解，GPT采用的是顺序预测，即根据之前的K个字符去预测当前字符，而BERT则同时考虑一个字符的上下文信息，即通过每个字符两个方向的序列对当前字符进行预测。
2024-06-17 11:03:25
1862
原创 pytorch 实现 GPT
条件概率P（A|B）和P（B|A）之间存在一定关系，P（A|B）= P（AB）/ P（B）同理 P（B|A）= P（AB）/ P（A）
2024-06-13 15:21:32
1655
1
原创 pytorch 实现 transformer
基于transformer架构实现中文日期向英文日期的转变。即Chinese time order [yy/mm/dd] ---- English time order [dd/M/yyyy]。for example (日期：2031/4/26): 31/04/26 --- 26/Apr/2031。
2024-06-12 00:13:17
1874
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人