深度学习
文章平均质量分 73
sxw婉~
这个作者很懒,什么都没留下…
展开
-
条件随机场CRF
1 条件随机场CRF:从条件随机场到线性链条件随机场条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型,在自然语言处理中得到了广泛应用。1.1什么样的问题需要CRF模型这里举一个简单的例子:假设有Bob一天从早到晚的一系列照片,Bob想考考我们,要我们猜这一系列的每张照片对应的活动,比如: 工作的照片,吃饭的照片,唱歌的照片等等。一个比较直观的办法就是,我们找到Bob之前的日常生活的一系列照片,然后找Bob.原创 2021-09-27 16:58:17 · 2651 阅读 · 0 评论 -
BERT知识点梳理
1 模型结构1.token embedding :为什么attention is all you need中要乘上aqrt(hidden)?因为位置编码使用sin/cos,值域比xavier初始化的tokenembedding大很多[-0.13,0.13],所以要增强。但是BERT改变了position embedding的方式,就没有必要了2.Scaled Dot Product:为什么是缩放点积,而不是点积模型?相较于加性模型,点积模型具备哪些优点?当输入信息的维度 d 比较高,原创 2021-09-22 21:21:40 · 733 阅读 · 0 评论