泊柴的博客

引言背景与挑战：大语言模型（LLMs）在特定任务中存在局限性，如产生幻觉、知识过时等，Retrieval - Augmented Generation（RAG）通过从外部数据库引入知识来增强LLMs，以解决这些问题。研究现状：RAG技术发展迅速，但缺乏系统的综合分析，本文旨在填补这一空白，对RAG的范式、核心技术、下游任务、评估方法以及未来挑战和发展方向进行全面综述。RAG概述典型应用：以ChatGPT回答关于近期新闻的问题为例，说明RAG通过从外部数据库获取相关知识并结合原问题生成回答的过程。

视觉语言大模型经常会产生幻觉，本文借助一篇综述来总结LVLM 幻觉产生的原因和可能的解决方法。LVLM 通常使用 CLIP 作为视觉编码器，CLIP虽然能够将文本与视觉特征映射到同一空间中，但CLIP 全面表达视觉信息方面仍存在局限性，比如视觉分辨率的限制以及对细粒度视觉语义表达的不足。这意味着CLIP可能无法精确捕捉到图像中的所有细节或深层次语义，特别是当涉及到高分辨率图像中的微妙差异或需要深刻理解场景上下文时。

传统OCR领域需要处理的问题是识别图片中的文字，如果是文档表格，还需要对图片做版面分析或者表格识别。要完成这些任务，通常需要文字检测、文字识别、Layout 分析、TSR 识别等多个模型组合起来，才能顺利完成工作。最近多模态大模型的发展如火如荼，有不少论文都尝试训练一个端到端的模型来解决所有问题，但实际效果不尽人意。

多模态模型目前存在一个挑战——如何处理高分辨的图像。目前已经开源的模型包括 Qwen-VL、Yi-VL、Llava-1.6，处理图像的方式都显得不够好。常见的方式有两种：一是不论图像原始分辨率多大，直接图像缩放到同一的分辨率 448x448；二是将图像进行切片，然后把多个patch拼接到一起，组合成图像 Embedding。第一种方式会丢失很多图像细节，比如对于包含密集文本的图像，就不能很好的处理图片中的文字。第二种方式虽然保留的图像的高分辨率特征，但是图像的token会很长，训练起来比较费劲。

图神经网络中的注意力机制本文讨论了 GNN 中常用的注意力机制，相关论文有：Graph Attention NetworksHow Attentive are Graph Attention NetworksMasked Label Prediction: Unified Message Passing Model for Semi-Supervised ClassificationGraph Attention Networks (GAT)GAT 的基本原理GAT 是 GNN 中的经典模

Pytorch-Geometric 中的 MessagePassing图中的卷积计算通常被称为邻域聚合或者消息传递 (neighborhood aggregation or message passing). 定义 xi(k−1)∈RF\mathbf x^{(k-1)}_i \in R^{F}xi(k−1)​∈RF 为节点 iii 在第 (k−1)(k-1)(k−1) 层的特征, ej,i\mathbf e_{j,i}ej,i​ 表示节点 jjj 到 节点 iii 的边特征，在 GNN 中消息传递可以

Deeper GNN：更深的图神经网络论文链接:DeeperGCN: All You Need to Train Deeper GCNs (arxiv.org)DeepGCNs: Can GCNs Go as Deep as CNNs? (arxiv.org)引言图机器学习中常见的任务由节点分类、连接预测和图分类。图卷积网络 (GCN) 是最近比较流行的一种方法。GCN 的核心概念是建立消息传递的基础上的，所谓消息传递就是根据邻域节点的特征计算相邻节点之间的消息，并将之用于更新中心节点的特征。

Graph U-Nets 笔记1. 引言论文主要内容是提出了用于图神经网络的 U-Net 结构。论文的出发点很简单，鉴于 UNet 的 encoder-decoder 结构在图像领域取得的成功，我们能不能在 GNN 中也模仿 U-Net 设计一种 Graph U-Net 结构呢？因为 U-Net 是先做降采样（Encoder）得到从低层次到高层次的图像特征，然后再做上采样 （Decoder）将 Encoder 计算的特征融合起来得到新的特征，所以如果要在 GNN 中构造 UNet 结构，就需要解决如何进

PointNet++ 笔记1. 引言PointNet++ 是在 PointNet 的基础上进行改进得到的。PointNet 是对点云中每一个点都学习一个空间编码 (spartial encoding, 在 GNN 中也叫做节点嵌入)，然后将所有点的特征用最大池化聚合为一个能表示点云的全局特征。从 PointNet 的网络结构上看，它并没有考虑点云的局部特征，但是根据 CNN 网络设计的成功经验来看，点云的局部结构也是相当重要的。在 CNN 中，一个好的网络结构，往往能够学习到图像的高低不同层次的特征，在

图神经网络二第六节主要是对图神经网络做了一个整体上的介绍，本节介绍几种经典的GNN 和设计GNN的基本思路。具体内容为单层 GNN单层 GNN 的一般形式经典的 GNN 网络：GCN, GraphSAGE, GAT多层 GNN 设计如何确定 GNN 网络的层数过平滑 (Over smoothing) 问题跳跃连接 (Skip connections)实际训练中图的操作特征增广 (Feature augmentation)结构变换 (Structure manipulat

图神经网络一图机器学习需要解决的任务有：节点分类 (Node classification) ：预测每个节点的类型链接预测 (Link prediction)：预测两个节点是否相连社区检测 (Community detection)：检测密集连接的节点聚类网络相似性检测 (Network similarity)：计算两个网络的相似程度前面章节介绍的是解决这些问题的传统机器学习方法，本节主要介绍图神经网络 (GNN) 的基本思路和训练基本流程。基本方法：消息传递和聚合图给我们的信息有：

消息传递和节点分类本节需要解决的问题是：假如一个图中某些节点的标签已经知道，如何根据节点的邻接关系和节点特征来确定其他节点的标签。在第三讲中，我们已经介绍了利用节点嵌入和传统机器学习方法给节点分类，本节讲介绍如何利用消息 (message passing) 来预测节点分类。本节内容包括：网络中节点的同质性 (Homophily) 和影响性 (Influence)节点集体分类 (Collective classification) 的方法关联分类 (Relational classificatio

CS224W-04: PageRankPageRank 最初作为互联网网页重要度的计算方法，由 Page 和 Brin 提出，并用于谷歌搜索引擎的网页排序。事实上，PageRank 可以定义在任意有向图中，所以也广泛用于社会影响力分析等其他领域。本节的内容包括：PageRank 算法个性化 PageRank 算法 (Personalized PageRank)重启随机游走算法 (Random Walk with Restarts)PageRankPageRank 的定义从直觉出发，要衡

CS224W-03：节点嵌入节点嵌入（Node embedding）的目的是为了将图中每一个节点映射到一个低维的向量表示，在嵌入空间最好能够满足下面的性质：如果两个节点在图中具有很高的相似性，那么二则的嵌入也应该具有相应的相似性嵌入应该能够提取图的信息嵌入向量可以用于下游学习和预测任务本节内容包括：提取器和重构器框架 (Encoder-decoder framework)提取器：浅层次的嵌入查找表重构器：基于嵌入向量预测节点相似性节点相似性的度量方法：无偏和有偏的随机游走 (D

CS224W 笔记02：图的传统机器学习方法文章目录CS224W 笔记02：图的传统机器学习方法设计机器学习方法的流程节点级别特征 (node-level)节点的度节点中心性Eigenvector centralityBetweenness centralityCloseness centralityClustering centralityGraphlet连接级别的特征 (Link-level)基于距离的特征 （Distance-based features）局部邻域重叠度 (Local neighbo

删除网格元素翻译，原文链接本文将说明如何从网格中删除面和顶点。这里使用的网格为第一篇教程 (创建立方体) . 如果我们想要从网格中删除顶点、面或者边，就必须先打开网格的状态属性 OpenMesh::Attributes::Status 用来保存元素是否删除。一般用动态方式定义状态变量，代码如下mesh.request_face_status();mesh.request_edge_status();mesh.request_vertex_status();创建立方体后，我们就可以用 dele

使用特性拓展网格翻译，原文链接注：原文标题 Extending the mesh using traits本文包括如何使用特性拓展网格要素的功能上一篇教程中我们介绍了如何改变 Point, Normal, TexCoord, Color 的数据类型，这篇文章我们讲一下如何通过特性 (traits) 来改变 Vertex, Face, Edge, Halfedge 的功能。我们的第一个利用特性技巧 (traits technique) 目的是设计一个高度定制化的数据结构 . 我们还是以网格平滑

使用网格属性和特性翻译，原文链接**注：**原文标题为 Using mesh attributes and traits. Attribute 中文意思是属性，前面几篇文章中提到的 Property 中文翻译也是属性，我也不知道怎么翻译才能体现两个词的区别。从英文来看，Attribute 有附加和归属的意思，而 Property 有财产的意思，所以简单地可以认为 Attribute 指的是固有属性，一旦定义便不可删除，Property 则指的是可删除和添加的动态属性。本文的主要内容是说明如何改变坐标、

使用标准属性翻译，原文链接本文包括如何添加和删除一个标准属性如何获取和设置标准属性的值之前就已经知道，我们可以通过增加自定义属性的方式将额外的数据与网格进行绑定，OpenMesh 中也有不少内置的属性，姑且将之称为标准属性 (standard properties). 与自定义属性不同的是，标准属性具有一些特殊性质和不同的接口，本文将着重说明这些特别之处。下表列出了不同网格要素 (entity) 能够使用的标准属性VertexFaceEdgeHalfedgeCo

使用 Smart Handles本文包括：如何使用 Smart Handles 和 Smart Ranges 访问网格如何使用 Smart Ranges到目前为止，我们都是使用诸如 halfedge_handle(), next_halfedge_handle(), prev_halfedge_handle(), oppopsite_halfedge_handle(), face_handle(), to_vertex_handle() 等 handle 来获取网格信息。这些函数都需要一个网格