自然语言处理
文章平均质量分 95
哈哈进步
Had i not seen the sun, i could have borne the shade.
展开
-
transformer做文本分类的keras实现完整版
背景目前csdn上搜索到的keras的版本实现,排在前面的是:https://blog.csdn.net/xiaosongshine/article/details/86595847但是,存在的问题在于,本身这个文章的实现其实是少了一部分的(缺少了LayerNorm+残差的部分),multi-head attention出来之后也少了一个W再做一次非线性变化,所以跟论文描述的encoder区块其实对应不上。所以我从各个地方找了其他的缺少的部分实现,凑出一个基本能对应上论文的keras版本的transf原创 2022-03-01 18:24:11 · 3545 阅读 · 2 评论 -
自然语言处理中的Attention机制总结
       在面试的过程中被问到了attention,原来虽然其实已经实际用过attention了,也知道个大概原理是加权求和,但是对于加权的具体方法以及权值得分的计算并不是很清晰,面试答的一般,正好最近实习的地方原创 2018-08-22 15:20:57 · 102670 阅读 · 26 评论