- 博客(5)
- 收藏
- 关注
原创 pytorch实现BERT
BERT是基于transformer架构的双向编码器表示,这个名称具有两个关键点,首先是基于transformer架构的编码器,其次是双向编码器。第一点类似于生成式预训练模型(GPT),只不过GPT是基于transformer架构的decoder,而BERT是基于transformer架构的encoder。至于第二点双向编码器也可以相对于GPT进行理解,GPT采用的是顺序预测,即根据之前的K个字符去预测当前字符,而BERT则同时考虑一个字符的上下文信息,即通过每个字符两个方向的序列对当前字符进行预测。
2024-06-17 11:03:25
1862
原创 pytorch 实现 GPT
条件概率P(A|B)和P(B|A)之间存在一定关系,P(A|B)= P(AB)/ P(B)同理 P(B|A)= P(AB)/ P(A)
2024-06-13 15:21:32
1655
1
原创 pytorch 实现 transformer
基于transformer架构实现中文日期向英文日期的转变。即Chinese time order [yy/mm/dd] ---- English time order [dd/M/yyyy]。for example (日期:2031/4/26): 31/04/26 --- 26/Apr/2031。
2024-06-12 00:13:17
1874
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人