- 博客(39)
- 收藏
- 关注
原创 R2-KG:通用双Agent框架,用于知识图谱上的可靠推理
本周阅读的论文题目是《R2-KG: General-Purpose Dual-Agent Framework for Reliable Reasoning on Knowledge Graphs》(《R2-KG:通用双Agent框架,用于知识图谱上的可靠推理》)。近期研究将大型语言模型(LLM)与知识图谱(KG)相结合,以增强推理能力,在不进行额外训练的情况下提高推理准确度,同时减轻幻觉问题。
2025-06-08 11:19:10
661
原创 代码复现——SymAgent:一种用于知识图谱复杂推理的神经符号自学习Agent框架
根据《SymAgent: A Neural-Symbolic Self-Learning Agent Framework for Complex Reasoning over Knowledge Graphs》(《SymAgent:一种用于知识图谱复杂推理的神经符号自学习Agent框架》)论文思路,简单复现代码,以实现SymAgent中的Agent-Planner和Agent-Executor模块。Agent-Planner利用大语言模型的归纳推理能力从知识图谱中提取符号规则,指导高效的问题分解。
2025-06-01 15:09:53
1039
1
原创 SymAgent:一种用于知识图谱复杂推理的神经符号自学习Agent框架
本周阅读的论文题目是《SymAgent: A Neural-Symbolic Self-Learning Agent Framework for Complex Reasoning over Knowledge Graphs》(《SymAgent:一种用于知识图谱复杂推理的神经符号自学Agent框架》)。在解决复杂推理问题时,大型语言模型容易产生幻觉,导致结果错误。为了解决这个问题,研究人员将知识图谱引入其中,以提高大语言模型的推理能力。
2025-05-25 13:15:00
902
原创 KAG:通过知识增强生成提升专业领域的大型语言模型(五)
本周对KAG-solver中的规划器、生成器、和Solver通道的代码进行了解读,涵盖了多个组件的配置和实现。规划器通过LLM生成任务计划;生成器用于生成最终答案;Solver通道提供了一个灵活、可扩展的框架,用于处理规划和执行工作流,通过集成不同的规划器、执行器和生成器组件,可以适应多种应用场景。最后通过示例展现了KAG-Solver的执行过程。planner:利用 LLM 进行任务规划,能够生成任务计划,通过调用 LLM,将复杂问题转换为多个任务的有向无环图(DAG),并根据依赖关系逐步求解;
2025-05-18 13:15:00
714
原创 KAG:通过知识增强生成提升专业领域的大型语言模型(四)
本周对KAG-solver中的知识层次结构和检索策略执行器的代码进行了解读,涵盖了多个组件的配置和实现。知识层次结构分为知识层(KG_cs)、图信息层(KG_fr)和原始块层(RC),三种层次结构用于不同情况的信息检索,检索准确性和逻辑严密程度依次下降,检索效率依次上升。知识合并器用于合并三种层次的知识信息,以方便检索器的检索。检索器除了在三种层次进行混合检索外,还可以进行推理检索执行和基于python的数学执行,并将输出结果转换为用户友好型的输出格式。
2025-05-11 13:15:00
886
原创 KAG:通过知识增强生成提升专业领域的大型语言模型(三)
本周深入学习了 KAG 项目中的 Schema、Prompt 以及 KAG-Builder 相关代码知识,涵盖了其定义、功能以及在知识图谱构建中的应用。Schema定义了知识图谱的架构,Prompt用于引导模型生成符合预期的输出,而 KAG-Builder则是通过结构化信息获取、知识语义对齐和图存储写入来构建知识图谱,其中包含reader、splitter、extractor、vectorizer、writer等多个组件。
2025-05-04 13:15:00
1003
原创 KAG:通过知识增强生成提升专业领域的大型语言模型(二)
本周继续学习KAG的实验结果部分、完成对KAG的安装部署,还有对KAG代码框架的理解。首先,介绍了KAG框架在知识密集型问答任务中的应用和性能评估。KAG通过多步检索、知识对齐和逻辑形式求解等策略,提升了问答系统在多跳问答数据集上的表现。消融研究进一步探讨了知识图谱索引和推理与检索策略对性能的影响,证明了知识对齐和逻辑形式求解器的有效性。然后,完成了包括KAG可视化界面和KAG开发者模式的安装部署,有Docker部署服务、构建和管理私域知识库以及进行推理问答的步骤。详细了解了KAG代码框架和实现过程。
2025-04-27 12:53:05
1062
原创 KAG:通过知识增强生成提升专业领域的大型语言模型(一)
本周阅读的论文题目是《KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation》(《KAG:通过知识增强生成提升专业领域的大型语言模型》)。最近开发的检索增强生成(RAG)技术使得构建特定领域的应用变得高效。然而,它也存在局限性,包括向量相似性与知识推理的相关性差距,以及对知识逻辑(如数值、时间关系、专家规则等)的不敏感,这些都阻碍了专业知识服务的有效性。
2025-04-20 13:41:26
1053
原创 RAG文献阅读——用于知识密集型自然语言处理任务的检索增强生成
本周阅读的论文题目是《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》(《用于知识密集型自然语言处理任务的检索增强生成》)。大型预训练语言模型已被证明能够在其参数中存储事实知识,并在对下游 NLP 任务进行微调时取得最先进的成果。然而,它们访问和精确操作知识的能力仍然有限,因此在知识密集型任务上,它们的性能落后于特定架构。此外,为它们的决策提供证据和更新其世界知识仍然是开放的研究问题。
2025-04-13 12:30:14
1107
原创 第一人称动作识别文献阅读——LaViLa:从大型语言模型中学习视频表征信息
本周阅读的论文题目是《》(《从大型语言模型中学习视频表征信息》)。本文中提出了LaViLa,这是一种通过利用大型语言模型来学习视频-语言表示的新方法。LaViLa将预训练的LLMs重新用于视觉输入,并对其进行微调以创建自动视频叙述者。与传统的视频文本对齐方法相比,自动生成的叙述具有许多优点,包括对长视频的密集覆盖、视觉信息和文本的更好时间同步以及文本的更高多样性。
2025-04-06 13:15:00
983
原创 第一人称动作识别文献阅读——EPIC-Fusion:用于以自我为中心动作识别的视听时序绑定
本周阅读的论文题目是《EPIC-Fusion: Audio-Visual Temporal Binding for Egocentric Action Recognition》(《EPIC-Fusion:用于以自我为中心动作识别的视听时序绑定》)。本文通过将多模态融合用于以自我为中心的动作识别,提出了一种新颖的多模态时间绑定网络(TBN)架构,即模态在时间偏移范围内的组合。使用三种模态RGB、Flow 和音频来训练该架构,并使用中级融合以及融合表示的稀疏时间采样。
2025-03-30 13:15:00
1009
原创 第一人称动作识别文献阅读——LSTA:用于自我中心动作识别的长短期注意力机制
本周阅读的论文题目是《LSTA: Long Short-Term Attention for Egocentric Action Recognition》(《LSTA:用于自我中心动作识别的长短期注意力机制》)。以自我为中心的活动识别是视频分析中最具挑战性的任务之一,它需要精细地区分小物体及其操作。虽然一些方法基于强大的监督和注意力机制,但它们有些需要消耗大量标注,还有些没有考虑时空模式。
2025-03-23 15:23:33
676
原创 第一人称动作识别文献阅读——注意力即一切:精准定位以物体为中心的注意力机制实现自中心活动识别
本周阅读的论文题目是《Attention is All We Need: Nailing Down Object-centric Attention for Egocentric Activity Recognition》(《注意力即一切:精准定位以物体为中心的注意力机制实现自中心活动识别》)。本文提出了一种用于以自我为中心的活动识别的端到端可训练的深度神经网络模型Ego-RNN。
2025-03-16 15:25:43
837
原创 人体骨架识别文献阅读——ST-TR:基于时空Transformer网络的骨架动作识别
本周阅读的论文题目是《Skeleton-based action recognition via spatial and temporal transformer networks》(《基于时空Transformer网络的骨架动作识别》)。在前几周中学习的ST-GCN以及基于ST-GCN做出改进的2s-AGCN和DGNN在骨骼图这类非欧几里数据上的空间和时间依赖性方面是有效的。但是依旧不能对3D骨骼中潜在信息的有效编码进行提取。
2025-03-09 12:35:00
1119
原创 人体骨架识别文献阅读——DGNN:基于骨架的动作识别与有向图神经网络
本周阅读的论文题目是《Skeleton-Based Action Recognition with Directed Graph Neural Networks》(《基于骨架动作识别与有向图神经网络》)。本文中基于自然人体中关节和骨骼之间的运动学依赖关系,将骨骼数据表示为有向无环图,从而设计了一种新颖的有向图神经网络(DGNN),专门用于提取关节、骨骼及其关系的信息,并基于提取的特征进行预测。此外,为了更好地适应动作识别任务,根据训练过程使图的结构自适应,这带来了显著的改进。
2025-03-02 12:23:09
820
原创 人体骨架识别文献阅读——2s-AGCN:基于骨架动作识别的双流自适应图卷积网络
本周阅读的论文题目是《Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition》(《基于骨骼动作识别的双流自适应图卷积网络》)。在基于骨骼的动作识别中,将人体骨骼建模为时空图的图卷积网络ST-GCN取得了显著性能。然而,在ST-GCN等GCN方法中,图的拓扑结构是手动设置的,并且在所有层和输入样本中固定不变,这可能不适合层次化GCN和动作识别任务中的多样化样本。
2025-02-23 12:23:29
1346
原创 人体骨架识别文献阅读——ST-GCN:基于骨骼动作识别的时空图卷积网络
本周阅读的论文题目是《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》(《基于骨骼动作识别的时空图卷积网络》)。本文中提出了一种动态骨骼新模型ST-GCN,它通过图卷积网络自动从数据中学习空间和时间模式,适用于不同关节数量和连接情况的数据集,克服了传统的骨骼建模依赖于手工制作的部件或遍历规则方法的局限性。
2025-02-16 12:23:15
1955
2
原创 语义分割文献阅读——SETR:使用Transformer从序列到序列的角度重新思考语义分割
本周阅读的论文题目是《Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers》(《使用Transformer从序列到序列的角度重新思考语义分割》)。由于典型的语义分割FCN和编码器-解码器架构以多次下采样损失空间分辨率为代价来抽取局部/全局特征,而固定的网络层会使造成每一层的感受野是受限的,因此要获得更大范围的语义信息,理论上需要更大的感受野即更深的网络结构。
2025-02-09 12:34:30
1119
原创 语义分割文献阅读-DeepLab v3+:基于空洞可分离卷积的语义图像分割编码器-解码器(1.20-1.26)
本周阅读的论文题目是《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》(《基于空洞可分离卷积的语义图像分割编码器-解码器》)。DeepLab v3+是DeepLab系列最后一个网络结构,也是基于空洞卷积和多尺度系列模型的集大成者。
2025-01-26 12:44:00
992
原创 语义分割文献阅读-SegNet:一种用于图像分割的深度卷积编码器-解码器架构(1.13-1.19)
本周阅读的论文题目是《SegNet:ADeepConvolutionalEncoder-DecoderArchitectureforImageSegmentation》(《SegNet:一种用于图像分割的深度卷积编码器-解码器架构》)。本文中提出了一种新颖实用的用于语义像素分割的深度全卷积神经网络架构-SegNet。SegNet由一个编码器网络、一个相应的解码器网络和一个像素分类层组成。编码器网络的架构在拓扑上与VGG16网络中的13个卷积层相同,去除了3个全连接层。
2025-01-18 18:17:14
1420
原创 语义分割文献阅读-FCN:用于语义分割的全卷积网络(1.6-1.12)
本周阅读的论文题目是《Fully Convolutional Networks for Semantic Segmentation》(《用于语义分割的全卷积网络》)。本文中所提出的FCN是使用深度学习进行语义分割的开山之作,FCN可以进行端到端、像素到像素训练,通过接受任意大小的输入并能有效的推理和学习产生相应大小的输出。
2025-01-12 12:23:02
1126
原创 目标检测文献阅读-DETR:使用Transformer进行端到端目标检测
本周阅读的论文题目是《End-to-End Object Detection with Transformers》(使用Transformer进行端到端目标检测)。
2025-01-05 15:18:18
1244
原创 目标检测文献阅读-YOLO:统一的实时目标检测(12.23-12.29)
本周阅读的论文题目是《You Only Look Once: Unified, Real-Time Object Detection》(你只看一次:统一的实时目标检测)。本文中提出了一种单阶段的目标检测算法YOLO,YOLO舍弃候选框提取,直接采用回归的方法进行物体分类和候选框预测。并且与之前两阶段的基于分类器的方法不同,YOLO是直接在对应检测性能的损失函数上训练,整个模型是联合训练的。本文中YOLO将图片平均分成个网格,每个网格分别负责预测中心点落在该网格内的目标。
2024-12-29 13:23:31
1152
原创 目标检测文献阅读-Faster R-CNN:通过区域建议网络实现实时目标检测(12.16-12.22)
本周阅读的论文题目是《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》(《Faster R-CNN:通过区域建议网络实现实时目标检测》),文中介绍的Faster R-CNN是在R-CNN、Fast R-CNN基础上进行改进的目标检测方法。在上一周中学习的R-CNN方法存在训练过程不连续、无法共享同一张图的CNN特征、目标检测速度慢等问题。
2024-12-22 13:23:39
1403
原创 目标检测文献阅读-针对高准确度的目标检测与语义分割的多特征层级(12.9-12.15)
本周阅读的论文题目是《》(《针对高准确度的目标检测与语义分割的多特征层级》),文中介绍的由和CNN结合形成具有CNN特征的区域即R-CNN,是利用深度学习进行目标检测的开山之作。本文的核心观点是能否用深度学习替换传统的图片特征提取方法从而更好的实现目标检测的效果。R-CNN较之前大大提升了目标检测的验证指标mAP,并且证明了可以将CNN应用在自底向上的候选区域从而进行目标分类和目标定位,以及当标记的训练数据稀缺时,进行神经网络的迁移学习。
2024-12-15 13:05:44
950
原创 自然语言处理和大语言模型综述(12.2-12.8)
这三个多月来,学习了吴恩达机器学习和李宏毅深度学习的相关课程。在吴恩达机器学习的课程中,了解了机器学习的相关概念,然后再深入了解了神经网络的结构和如何通过激活函数、梯度下降、偏差和方差等方法训练神经网络,了解了神经网络的完整周期,还学习到了决策树的构建以及剪枝操作。然后在李宏毅深度学习的课程中,学习了CNN、RNN、LSTM等网络结构和自注意力机制,在Seq2Seq结构中引出Transformer架构、BERT架构、T5等。
2024-12-08 13:29:40
2543
1
原创 深度学习周报(11.25-12.1)
本周学习了李宏毅深度学习关于BERT的部分。了解了BERT架构实际上是Transformer中的Encoder,学习了BERT包含的两个预训练任务:掩码输入和下一句预测。然后了解了BERT的应用场景,例如:情感分析、词性标注、自然语言处理和回答系统等。还了解了训练BERT是十分困难的事,但是能够预训练Seq2seq模型,以及BERT的好用之处在于能够进行一词多义。最后认识到了多语言BERT在零样本和跨语言对齐上的优势。通过本周的学习,学习了什么是自监督学习,BERT就是通过自监督进行预训练的。
2024-12-01 14:31:57
1302
原创 深度学习周报(11.18-11.24)
本周学习了李宏毅深度学习关于Transformer的部分。了解了Transformer架构分为编码器和解码器,然后详细学习了编码器和解码器的结构,包括位置编码、多头注意力机制、残差连接和归一化等重要组成部分,还了解了训练Transformer的一些方法和Transformer应用建议。最后使用Pytorch实现Transformer架构,进一步加深了对Transformer架构的理解。通过本周的学习,学习了transformer架构,该架构可以分为编码器和解码器两个部分。
2024-11-23 17:01:53
1107
原创 深度学习周报(11.11-11.17)
本周学习了李宏毅深度学习关于自注意力机制的部分。首先了解了以序列作为输入和多种形式的输出,以及由于需要考虑序列上下文进行语义分析由此引出了自注意力机制。然后学习到了Self-attention的基本原理和计算方法,还有更复制的多头自注意力机制,以及如何进行位置编码,从而使得网络可以考虑向量的位置信息。还了解了Self-attention在多个领域的应用,还将Self-attention与CNN、RNN进行了比较,还用Pytorch代码简单实现Self-attention。
2024-11-16 18:14:40
1206
原创 深度学习周报(11.4-11.10)
本周学习了李宏毅深度学习关于循环神经网络(RNN)部分的课程。了解了什么是RNN、RNN的基本原理和几种典型的RNN。之后学习了长短期记忆网络(LSTM),认识了LSTM和普通神经网络、RNN的联系和区别。然后学习到了RNN的训练包括损失函数、梯度下降、误差分析等方面和RNN的应用例如多对一、多对多等方面。最后对比RNN和结构化学习,分析优劣。
2024-11-10 12:33:31
1088
原创 深度学习周报(10.28-11.3)
本周学习了李宏毅深度学习关于卷积神经网络的课程。了解了什么是卷积神经网络,以及卷积神经网络相关概念的学习,包括卷积核、感受野、步长和填充参数共享、卷积层、池化等概念。还通过对LeNet-5网络的简单分析加深了对卷积神经网络整体流程的理解。最后基于PyTorch框架使用卷积神经网络简单实现了识别手写数字0-9,进一步加深了对卷积神经网络的理解。卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。
2024-11-02 20:57:17
1312
原创 深度学习周报(10.21-10.27)
本周开始学习李宏毅深度学习的课程。首先对机器学习做了一些回顾复习,关于机器学习的设计、优化以及激活函数的选择。然后学习了深度学习相关的一些基本概念以及参数更新需要用到的反向传播的相关知识。最后完成了对PyTorch配置安装,为后续的使用做准备。定义一组函数实际上是要找到一个神经网络。
2024-10-27 12:23:10
774
原创 机器学习周报(10.14-10.20)
本周继续学习吴恩达机器学习关于决策树的部分。首先了解了什么是剪枝、为什么要对决策树进行剪枝操作,以及剪枝的两种方法预剪枝和后剪枝并尝试通过Python来简单实现这两种方法。其次了解了什么是多决策树,和如何通过有放回抽样来进行随机森林算法,以及认识到了XGBoost算法。最后学习到了决策树和神经网络各自的优缺点和该在什么时候来使用决策树或神经网络。下周将进入机器学习关于无监督学习、推荐系统和强化学习部分的学习。
2024-10-20 12:23:03
745
原创 机器学习周报(10.7-10.13)
本周开始学习吴恩达机器学习关于决策树的部分。首先是对数据倾斜的认识,关于误差指标和对精确率和召回率的权衡。然后学习到了什么是决策树模型和决策树的学习过程,通过测量纯度、信息增益构建不同决策树算法,还能通过整合构建更大的决策树,还了解到独热编码解决多个离散值的问题和构建连续值特征的决策树。最后在实战中构建猫分类器的决策树。通过本周学习,了解了什么是数据倾斜,是由于数据分布不均导致的。
2024-10-13 13:23:09
722
原创 机器学习周报(9.30-10.6)
本周继续学习吴恩达机器学习的神经网络部分。知道了什么是多标签分类,了解了Adam优化方法和卷积层。其次了解了如何进行评估和选择模型以及偏差、方差的相关知识。然后宏观认识机器学习的整体发展过程和完整周期,认识到了迭代循环、误差分析、数据添加、迁移学习等方法。最后对机器学习的公平、偏见与伦理进行了认识,了解到在使用深度学习工具时一定不要将其使用在危害社会的地方上。通过本周学习,了解了多标签分类是用来处理处理同时预测多个标签的任务及其应用场景;
2024-10-06 12:23:03
836
原创 机器学习周报(9.23-9.29)
本周继续学习吴恩达机器学习的神经网络部分。了解了TensorFlow训练神经网络的细节,以及如何选择激活函数,并用代码简单实现了手写识别数字0和1。然后了解了什么是多类分类和Softmax回归函数,并通过改进Softmax加强计算精确度,最后用代码实现了手写识别数字0到9。通过本周的学习,了解了TensorFlow训练神经网络的细节,首先需要构建模型:使用Keras.Sequential定义神经网络模型、层的选择、选择激活函数,然后编译模型以指定损失函数和优化器,最后设置训练参数使用训练数据训练模型。
2024-09-29 12:23:55
934
原创 机器学习周报(9.16-9.22)
本周开始学习吴恩达机器学习的神经网络部分。了解了什么是神经元和神经网络中的层,并通过需求预测和图像识别的例子加深对神经网络的理解。然后了解了什么是正向传播以及相关代码部分。再是了解了什么是TensorFlow,如何使用TensorFLow建立一个神经网络和实现正向传播的方法。最后简单了解了ANI和AGI,还有“一个学习算法”的假设。通过本周的学习,了解到了神经网络是一种模仿人脑神经元连接方式的计算模型,用于处理和分析复杂数据。它由多个层组成,包括输入层、隐藏层和输出层。
2024-09-22 12:00:00
1339
原创 机器学习周报(9.9-9.15)
通过这周对吴恩达机器学习课程的学习,首先,学习了在多维特征下的线性回归算法,用于预测一个目标变量与多个特征变量之间的关系,并运用特征工程和多项式回归,来更好的拟合数据。然后,学习了监督学习的另一个问题:分类问题。以及解决分类问题的算法:逻辑回归算法。逻辑回归通过一个逻辑函数(通常是sigmoid函数)将线性组合的输入特征映射到概率值,输出结果在0到1之间。这样可以判断输入属于某一类别的概率。通过学习决策边界更好地了解了逻辑回归的函数是如何计算的。然后代入代价函数,使用特征缩放来更好地实现梯度下降算法。
2024-09-15 12:23:38
888
原创 机器学习周报(9.2-9.8)
本周开始学习了吴恩达的机器学习课程,了解了什么是机器学习,机器学习主要分为监督学习和无监督学习,并简单了解其含义。其次了解了什么是单变量线性回归,了解了线性回归模型、代价函数、梯度下降等知识,并简单推导、计算和改写批量梯度下降算法。通过这周对吴恩达的机器学习课程的学习,我由此正式学习到了机器学习,简单了解了什么是机器学习,机器学习是对一个程序能通过学习经验后提高任务的处理能力,以此优化其性能的过程。机器学习又可以简单分为监督学习和无监督学习。
2024-09-08 18:58:31
1144
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人