- 博客(11)
- 收藏
- 关注
RSS订阅
1原创 Day07图注意力网络笔记
在图神经网络（Graph Neural Networks，GNNs）的研究中，图注意力网络（Graph Attention Networks，GAT）作为一种重要的变体，通过引入注意力机制来动态地分配不同邻居节点的权重，从而提高了模型对图结构信息的处理能力。具体来说，对于每个节点，HAN首先根据元路径确定其邻居节点集合，然后利用注意力机制计算每个邻居节点对该节点的贡献度，并将这些贡献度作为权重进行加权求和，得到该节点的表示向量。异质图是指图中包含多种类型的节点和边，它们代表了不同的实体和关系。
2024-04-29 21:54:03
218
原创 Task02大模型开发进阶
在自然语言处理（NLP）领域，Embedding是一种将文本（如字、词、句、段等）转换为固定维度稠密向量的技术。这些向量旨在捕捉文本中蕴含的语义和上下文信息，使得相似的文本在向量空间中的表示也相近。Embedding的引入极大地提升了NLP任务的性能，尤其是在深度学习模型中。Token化是生成Embedding之前的必要步骤，它将原始文本切分为更小的单元（即Token）。Token化的方式有多种，包括按字、按词、按Bi-Gram等进行。按字Token化即将文本中的每个字作为一个Token；
2024-04-28 20:54:01
277
原创 Day06关系图卷积神经网络笔记
关系图卷积神经网络（R-GCN）是一种专门用于处理异质图的神经网络模型。与同质图相比，异质图具有多种节点类型和关系类型，这使得传统的图卷积神经网络在处理时面临挑战。R-GCN通过引入关系特定的转换矩阵，实现了对异质图中不同类型节点和关系的有效建模。
2024-04-28 02:07:46
230
原创 Task01大模型开发入门
参考书目：ChatGPT原理与应用开发图灵测试提供了一个客观和直观的方式来评估机器是否具有智能的方法。自然语言处理（Natural Language Processing，NLP）研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法词袋模型（Bag of Words,BOW）：单词+单词出现次数神经概率语言模型（Neural Probabilistic Language Model，NPLM）：通过学习大量的文本数据来预测下一个单词或字符的概率。
2024-04-23 18:09:35
852
原创 Day04 图表示学习笔记
最简单的随机游走策略是深度游走，即从每个节点开始运行固定长度、无偏的随机游走。两种节点嵌入的方法：深度游走和 Node2Vec。随机游走 ：随机选择一个邻居，并移动到这个邻居。
2024-04-21 11:39:41
208
原创 Day03 深度学习基础笔记
多层感知机：输入层+隐藏层+输出层最常用的优化算法：随机梯度下降算法Adam 算法欠拟合（underfitting）：模型不能降低训练误差，训练误差和验证误差都很严重，而且它们之间仅有一点差距。这可能意味着模型过于简单（即表达能力不足）， 无法捕获试图学习的模式。过拟合（overfitting）：训练误差明显低于验证误差时。注意，过拟合并不总是一件坏事。特别是在深度学习领域。通常更关心验证误差，而不是训练误差和验证误差之间的差距。训练数据集中的样本越少，就越有可能过拟合。
2024-04-19 21:35:23
236
原创 Day02 图理论基础笔记2
两点之间最短路径。：所有节点对之间的最短路径的最大值。：节点集和边集分别是某一图的节点集的子集和边集的子集的图。：无向图的极大连通子图。：一个图只包含一个连通分量，即其自身。：邻域互连紧密度。网络的聚类系数即平均聚类系数。
2024-04-19 13:19:29
643
原创 Day02 图理论基础笔记1
图被记为。其中V是节点（node或vertex）的集合，E是边（edge或link）的集合。有向图（directed graph or digraph）：带箭头遍。无向图（undirected graph）：边不具备指向性。
2024-04-17 20:52:29
347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人