- 博客(4)
- 收藏
- 关注
原创 (阅读笔记)A STRUCTURED SELF-ATTENTIVESENTENCE EMBEDDING
与 KL 散度惩罚相比,此项仅消耗三分之一的计算量:使用 A 的点积及其转置,减去单位矩阵,作为冗余的度量。(a) 和 (b) 显示了矩阵嵌入的 30 行中的 6 行所采取的详细注意力,而 (c) 和 (d) 通过总结所有 30 个注意力权重向量来显示整体注意力。由于 H 的大小为n*2u,注意力权重向量 a 的大小为n。为了将可变长度的句子编码为固定大小的嵌入,通过将H 中的 n 个 LSTM 隐藏向量的线性组合来实现这一点。作者不使用向量,而是使用二维矩阵来表示嵌入,矩阵的每一行都参与句子的不同部分。
2022-09-28 21:22:35
545
1
原创 (笔记)李宏毅机器学习——自注意力,多头自注意力
得到输入向量之间的相关度后,使用一个sofmax进行了归一化处理得到注意力权重α,此处不使用softmax也可以,可以尝试使用其他激活函数看看效果。v值和注意力权重α做乘法,求和得到b1,当与一个向量之间的α越大,得到的b1就越接近该向量的v值。使用多个Q值,不同的Q值负责不同方面的相关度,一个Q值是一个head。多个Q值,对应有多个K值、V值。首先是输入向量之间的相关度计算,视频中提到的方法如上,W是训练出来的矩阵。每个head的值由其对应的Q\K\V值产生,计算过程同self-att。
2022-09-28 16:08:12
580
原创 (阅读笔记)PARE:A Simple and Strong Baseline for Monolingual and MultilingualDistantly Supervis
将上述过程得到的z(e1,ri,e2)输入一个后接sigmoid激活函数的MLP分类器,得到三元组(e1,ri,e2)为关系ri的可能性pi,并设置临界值为0.5,当pi>0.5时,判断为关系i的正例。3、能够放宽至少一个假设的一部分,例如:包中没有一个句子单独表达了当前句袋的关系,但可能存在包中多个实例共同预测了该种关系的情况,该模型可以由此学会提取这种关系。2、每个token都可以和句子中的其他token交换信息(包内句子交换信息,充分利用包中的信息);(2)[SEP]分隔段落中的每个句子;
2022-09-07 20:22:31
536
原创 (阅读笔记)R-Bert:Enriching Pre-trained Language Model with Entity Information for Relation Classificatio
R-Bert论文阅读笔记,利用Bert进行关系抽取。
2022-09-02 15:17:35
483
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人