深度学习
文章平均质量分 83
自己学习的笔记
FG.
要努力变强
展开
-
对比学习和多模态任务
它的核心思想是通过对比学习的方式,将语义相似的句子映射到接近的空间位置,从而学习到句子的语义表示。其核心思想是通过最大化同类样本之间的相似性(或降低它们之间的距离),同时最小化异类样本之间的相似性(或增加它们之间的距离),来学习数据的有意义表示。SimCLR(Simple Contrastive Learning of Representations)是一种用于自监督学习的框架,旨在学习数据表示的高效表示,通过比较同一图像的不同视图来学习图像表示。这有助于提高对比学习的性能和有效性。原创 2024-07-09 22:40:21 · 853 阅读 · 0 评论 -
DETR目标检测框架
概念:DETR(Detection Transformer)是一种基于Transformer架构的端到端目标检测框架。它与传统的基于区域提议的目标检测方法有所不同。传统方法通常依赖于手工设计的组件(如锚框、非极大值抑制等),而DETR将目标检测视为直接集合预测问题。原创 2024-07-08 20:50:48 · 403 阅读 · 0 评论 -
图神经网络
概念:图神经网络(Graph Neural Network, GNN)是一类专门用于处理图数据的神经网络模型,它们能够有效地学习和推断图数据中节点和边的复杂关系。传统的神经网络主要处理向量或矩阵形式的数据,而图神经网络则扩展到了非欧几里得数据结构,如图和网络。目的:整合特征图神经网络通常通过消息传递的方式更新节点的表示。每个节点会从其邻居节点接收信息,然后通过聚合这些信息来更新自己的表示。这种消息传递的过程可以迭代多次,以便节点能够汇聚更多的上下文信息。原创 2024-07-06 20:31:48 · 342 阅读 · 0 评论 -
Transformer架构
Mask 机制的目的是确保模型在生成序列的每一步时只能依赖于当前位置之前的信息,而不能使用未来信息,从而保证生成的序列是自洽的。自注意力机制的基本思想是对于给定的输入序列,每个位置都可以与其他位置进行交互,通过计算它与其他位置的相关性来获取该位置的表示。是指在注意力机制中同时考虑两个不同序列之间的关系,通常用于序列到序列模型中的解码器部分,以便在生成输出序列时能够参考输入序列的信息。在解码器的自注意力机制中,每个位置只应该注意到该位置及之前的位置,而不应该注意到后面的位置,以避免信息泄露和未来信息的使用。原创 2024-05-23 18:11:10 · 811 阅读 · 0 评论 -
神经网络基础结构
全连接层的引入可以增加网络的灵活性和表达能力,使其能够适应各种复杂的任务,并进行准确的分类和预测。然而,随着网络层数的增加,全连接层的参数量也会大幅增加,导致计算量增加和过拟合的风险,因此需要适当的正则化和优化策略来处理。通过交替堆叠多个卷积层和池化层,CNN能够逐渐提取出抽象和高级的特征,并在全连接层中进行进一步的处理和分类。:全连接层也称为密集连接层或输出层,是神经网络中的一种常见层类型。参数共享:卷积层中的每个滤波器都使用相同的权重参数对输入数据进行卷积操作,从而减少了参数数量,降低了模型复杂度。原创 2024-05-20 23:06:56 · 1015 阅读 · 0 评论