- 博客(7)
- 收藏
- 关注
RSS订阅原创 知识图谱概论（三）
归纳推理将从输入观察到的模式进行概括，生成一些新颖但可能不准确的预测。例如，从地理和航班信息的图表中，我们可以观察到几乎所有国家的首都都有国际机场为其服务，因此可以预测，由于圣地亚哥是首都，它可能有一个国际机场为其服务;然而，一些首都(如瓦杜兹)没有国际机场。因此，预测可能有一定程度的可信度;例如，如果我们看到195个首都中有187个拥有国际机场，那么我们可以为使用该模式做出的预测分配0.959的置信度。然后，我们将归纳获得的知识称为归纳知识（inductive knowledge），它既包括编码模式的模型
2024-01-30 17:15:37
1038
1
原创 知识图谱概论（二）
作为人类，我们可以从数据图本身的信息中推断出更多知识。比如Fig.1中，我们可以推断通过航班连接的城市一定会有机场。如果我们先验地知道关于世界的一般规则，那么给定数据作为前提，我们可以使用演绎过程来导出新的数据，使我们知道的比数据本身拥有的更多信息。机器没有固有的演绎能力，而是需要）来形式化一组给定前提的逻辑结果。一旦以这种方式进行指导，机器通常可以以超出人类性能的精度、效率和规模来应用推理。演绎可以服务于一系列应用程序，例如改进询问与回答的分类、发现不一致，等等。
2024-01-28 22:44:53
1610
1
原创 如何理解GAT？
GNN 是对图的所有属性（节点、边、全局上下文）的可优化转换，它保留了图的对称性（排列不变性）。GNN 采用“图输入，图输出”架构，这意味着这些模型类型接受图作为输入，在不更改输入图的连通性的情况下，将信息加载到其节点、边缘和全局上下文中，并逐步转换这些嵌入。
2023-12-12 14:20:37
46
原创 从论文理解BERT模型
在论文中，作者对BERT的名称做出这样的解释——ncoderransformers. 那么顾名思义，BERT可能是由来自Transformer模型中的双向Encoder编码器并组成。事实上，确实是这样的。
2023-12-06 19:48:40
48
2
原创 利用Transformer实现机器翻译（法语-英语）的代码实现
本文代码所需要的库主要为：pytorch(2.0.0)，nltk，tqdm。这篇文章的内容主要是对上一篇文章所提到的内容进行代码实现和解释。
2023-11-22 23:37:31
231
原创 Transformer以及self-attention的一些理解
RNN中一个比较明显的缺陷是获得小梯度更新的层会停止学习，而那些层通常是比较早的层。这就导致RNN只具有短时记忆，难以记住长序列中较前的内容。而LSTM虽然在一定程度上解决了这个问题，但是需要依次序序列计算，对于远距离相互依赖的特征，要经过若干步骤才能将两者联系起来，这就比较麻烦了。Self-Attention则在计算中直接将任意两个单词的联系进行计算，就避免了如上的问题。一个明显的特征是self-attention在计算中采用并行计算，而不是循环计算。
2023-11-12 22:13:51
118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人