![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 86
AI知识图谱大本营
知识图谱AI大本营 是一个追踪、解读、讨论和报道大模型、知识图谱、NLP、深度学习、机器学习等AI前沿成果的学术平台,致力于让人工智能领域的国内外优秀科研工作者们得到交流学习的机会。
展开
-
使用机器学习算法检测交易中的异常行为
现在,我们可以计算数据中的异常数量,从而找出数据中异常的比例,这在使用孤立森林等异常检测算法时非常有用:。按年龄划分的平均交易金额没有差异。现在让我们看一下一周中各天的交易数量:。现在让我们看一下数据中一些交易相关的列之间的相关性:。现在我们可以通过以下方式可视化数据中的异常情况:。现在我们可以训练机器学习模型来检测异常:。最后,我们使用经过训练的模型来检测异常:。现在我们来看看这个异常检测模型的性能:。原创 2024-01-28 21:59:39 · 658 阅读 · 0 评论 -
像搭乐高一样把模型拼在一起
最后,作者发现在 25 种低资源语言中的 18 种和 10 种高资源语言中的 9 种上,m (A⊕B) 的表现都优于 m_A 和 m_B,这证明了模型组合的有效性。具体而言,他们在这些层上学习两组附加参数:(i)一组是简单的线性变换,f_proj(.),它将来自 m_A 的第 i 层表示映射到来自 m_B 的表示的维度,以及(ii)一组交叉 - 注意力层,f_cross (.,.),该层位于线性变换后的层表示和 m_B 的第 j 层表示之间。作者观察到,在采用之前的设置时,各种任务的性能都有明显下降。原创 2024-01-26 09:08:11 · 880 阅读 · 0 评论 -
对比学习在深度图聚类方法
首先定义图的节点集为,节点的属性表示为。以此为基础,可以构建一个无向图。图的度定义为,而图的拉普拉斯矩阵表示为。通过使用图卷积网络(GCN)中的重整化技巧,得到图的对称归一化拉普拉斯矩阵。深度图聚类的目标是将图的节点分割为几个独立的群体。更具体地说,可以使用无监督方式预训练一个神经网络,该网络能够编码图的节点和结构信息,表示为:本文介绍了一种改进版的对比学习图聚类方法——SCGC。这一方法在网络架构、数据增强以及目标函数等方面优化了现有的技术。原创 2024-01-25 10:22:33 · 1043 阅读 · 0 评论 -
Google 提出稀疏注意力框架Exphormer,提升图Transformer的扩展性!
图在计算和机器学习 (ML) 中无处不在,其中对象及其关系可以用图中的节点和节点之间的边来表示。社交网络、道路网络以及分子结构之间的相互作用都都具有类似图结构。通过机器学习可学习图的节点、边亦或者整个图的属性。图学习的一种常见方法是图神经网络(GNN),它通过对节点、边和全局属性信息进行相应的转换来实现对图数据的操作。典型的图神经网络(GNN)是通过消息传递框架进行数据操作,其中每一层都将节点的表示与其直接相邻的表示聚合在一起。最近,图Transformer已成为了消息传递架构的替代方案。原创 2024-01-25 10:19:59 · 1055 阅读 · 0 评论 -
状态空间模型(SSM)是近来一种备受关注的 Transformer 替代技术
高效的模型必需要小状态,而有效的模型所需的状态应当包含上下文的所有关键信息。Mamba 模型是由堆叠的 Mamba 块构成的,在 NLP、基因组学、音频等多个不同领域都取得了非常好的结果,其性能可以媲美和超越已有的 Transformer 模型。该团队也进行了实验论证,如图 1 所示,结果表明:相比于 Mamba,MoE-Mamba 达到同等性能时所需的训练步骤数少 2.2 倍,这彰显了新方法相较于 Transformer 和 Transformer-MoE 的潜在优势。表 3 给出了超参数的完整列表。原创 2024-01-23 22:08:25 · 3062 阅读 · 0 评论 -
基于细粒度推理的虚假新闻检测
为提升虚假新闻检测模型的可解释性和准确率,作者提出了新颖的细粒度推理框架FinerFact用于虚假新闻检测,该框架遵循人类的信息处理模型,采用了一种基于相互强化(Mutual Reinforcement)的方法将人类知识引入模型预测,并设计了一个先验感知的双通道核图网络(Kernel Graph Network)对微妙的线索进行建模。作者采用的基于相互强化和人类知识的高效线索排序方法、先验感知双通道核图网络对不同类型线索之间的关系进行建模,从而能够对新闻文本的真实性做出更准确的判断。若为真实新闻,y=0。原创 2024-01-22 20:06:44 · 930 阅读 · 0 评论