- 博客(4)
- 收藏
- 关注
RSS订阅原创 （阅读笔记）A STRUCTURED SELF-ATTENTIVESENTENCE EMBEDDING
与 KL 散度惩罚相比，此项仅消耗三分之一的计算量：使用 A 的点积及其转置，减去单位矩阵，作为冗余的度量。(a) 和 (b) 显示了矩阵嵌入的 30 行中的 6 行所采取的详细注意力，而 (c) 和 (d) 通过总结所有 30 个注意力权重向量来显示整体注意力。由于 H 的大小为n*2u，注意力权重向量 a 的大小为n。为了将可变长度的句子编码为固定大小的嵌入，通过将H 中的 n 个 LSTM 隐藏向量的线性组合来实现这一点。作者不使用向量，而是使用二维矩阵来表示嵌入，矩阵的每一行都参与句子的不同部分。
2022-09-28 21:22:35
536
1
原创 （笔记）李宏毅机器学习——自注意力，多头自注意力
得到输入向量之间的相关度后，使用一个sofmax进行了归一化处理得到注意力权重α，此处不使用softmax也可以，可以尝试使用其他激活函数看看效果。v值和注意力权重α做乘法，求和得到b1，当与一个向量之间的α越大，得到的b1就越接近该向量的v值。使用多个Q值，不同的Q值负责不同方面的相关度，一个Q值是一个head。多个Q值，对应有多个K值、V值。首先是输入向量之间的相关度计算，视频中提到的方法如上，W是训练出来的矩阵。每个head的值由其对应的Q\K\V值产生，计算过程同self-att。
2022-09-28 16:08:12
565
原创 （阅读笔记）PARE：A Simple and Strong Baseline for Monolingual and MultilingualDistantly Supervis
将上述过程得到的z(e1,ri,e2)输入一个后接sigmoid激活函数的MLP分类器，得到三元组（e1,ri,e2）为关系ri的可能性pi,并设置临界值为0.5，当pi>0.5时，判断为关系i的正例。3、能够放宽至少一个假设的一部分，例如：包中没有一个句子单独表达了当前句袋的关系，但可能存在包中多个实例共同预测了该种关系的情况，该模型可以由此学会提取这种关系。2、每个token都可以和句子中的其他token交换信息（包内句子交换信息，充分利用包中的信息）；（2）[SEP]分隔段落中的每个句子；
2022-09-07 20:22:31
520
原创 （阅读笔记）R-Bert：Enriching Pre-trained Language Model with Entity Information for Relation Classificatio
R-Bert论文阅读笔记，利用Bert进行关系抽取。
2022-09-02 15:17:35
475
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人