paper
文章平均质量分 91
很久以前
我明天再来学Web渗透
Try to learn more things.
展开
-
【论文研读总结】基于鲁棒序列分类的时间注意门控模型
鲁棒序列分类的TAGM模型(时间注意门控模型)计算输入序列中每个时间步长观测的显著性得分基于显著性得分构建最适合序列分类任务的隐藏表示顶部为循环注意力门控单元,底部是时间注意力模块循环注意力(Recurrent Attention-Gated Units)-----和前面几篇的RNN过程类似对于输入时间步长t的隐藏状态ht计算如下,其中为注意力得分,能够平衡当前状态和前一状态的信息流(对于最后的取舍很重要例如:高关注值会促使模型更多地关注当前隐藏状态ht和输入特征xt。原创 2024-03-23 14:51:04 · 2076 阅读 · 1 评论 -
基于相对位置的自注意力机制------论文研读总结
不同学者使用不同的方式合并关于元素的顺序位置的信息。卷积神经网络固有地捕获每个卷积的内核大小内的相对位置。RNN在计算隐藏状态ht时,结合其在时间t的输入和先前隐藏状态ht-1的函数直接通过其序列结构捕获沿时间维度沿着的相对和绝对位置。Attention的扩展改为了:(将边信息传播到子层输出)eij使用compatib计算,并且比较两个输入元素的兼容性函数改为:(在计算兼容性时考虑边)其中参数是唯一的相对位置表示法边表示相对位置距离。(边描绘相对位置,裁剪最大距离)原创 2024-03-18 17:29:01 · 955 阅读 · 1 评论 -
【论文研读总结】基于结构位置的自注意力机制
一句话简介SANs(Self Attention Networks, 自注意网络)+结构编码策略输入:X=查询其中为可训练参数输出其中,为点积注意力模型(顺序位置编码)关于序列中元素的绝对或相对位置的信息注入SAN绝对序列PE:,其中abs是序列中的绝对位置,i是位置表示的维数。f(·)是偶数维的sin(·),是奇数维的cos(·)。相对顺序PE:,其中rel是查询词的相对位置,用于索引表示相对位置嵌入的可学习矩阵R。结构位置表述(采用树结构表示)原创 2024-03-22 02:48:27 · 1816 阅读 · 1 评论 -
基于多尺度随机分布预测(MSDP)的鲁棒用户行为序列表示----论文总结分析
一种多尺度随机分布预测(MSDP)算法来学习鲁棒的用户行为序列表示以往的方法(不足之处):训练大量未被标注的用户行为序列,使用自监督的随机标记(随机预测/自回归预测一些标记的行为),但是这种并没有考虑到用户行为本身,文本序列遵循人类语言的语言准则,几乎没有噪声和随机信号,随机性低,但用户行为(反复点击,购买)相反。噪声和随机性的干扰,标记行为预测和下一次标记行为预测任务的难度显著增加,影响了学习用户表示的鲁棒性。用户行为嵌入—》不同序列模型的相似度提取(正则化)—》随机窗口采样---》分布预测。原创 2024-03-19 00:20:14 · 1741 阅读 · 0 评论