- 博客(247)
- 资源 (1)
- 收藏
- 关注
原创 【DGCNN】Dynamic Graph CNN for Learning on Point Clouds
摘要: DGCNN是一种针对点云数据的神经网络,通过**边缘卷积(EdgeConv)**模块捕捉局部几何关系与全局结构。EdgeConv利用k近邻构建动态图,结合中心点与相对位置特征,通过聚合函数(如max)保证置换不变性。动态图更新机制使模型能自适应学习语义邻居,扩大感受野。该结构平衡了平移不变性与全局位置信息,适用于点云分类、分割等任务。代码与论文已开源。
2025-09-10 10:21:03
444
原创 【RONO】RONO: Robust Discriminative Learning with Noisy Labels for 2D-3D Cross-Modal Retrieval
本文提出RONO模型,用于解决2D-3D跨模态检索中的噪声标签问题。该模型包含两个核心模块:1)鲁棒判别中心学习(RDCL)模块,通过设计对比中心误差函数动态区分干净和噪声样本,并采用渐进式损失函数减轻噪声影响;2)共享空间一致性学习(SSCL)模块,通过多模态差距损失和公共表示分类损失,缩小模态间语义差异。实验表明RONO在噪声环境下仍能保持优越性能。该工作为跨模态学习中的噪声鲁棒性问题提供了有效解决方案,代码已开源。
2025-09-10 10:19:33
1002
原创 【DAC】DAC: 2D-3D Retrieval with Noisy Labels via Divide-and-Conquer Alignment and Correction
- **2D 和 3D 数据爆炸增长** → 跨模态检索(cross-modal retrieval,比如用图片搜3D模型,或用3D模型搜图片)越来越重要。- **问题:标注不可靠** → 因为标注是人工完成的,尤其是非专家在面对模糊的 2D/3D 内容时,很容易出现错误标注(噪声标签)。- **现有方法的不足**:以前有人通过 **人为设定阈值** 来把数据分成“干净/噪声”两部分,但是: 1. 结果对阈值非常敏感(阈值不好选)。 2. 分完之后,只是简单利用子集,没有充分利用每个子集
2025-08-27 19:56:27
1168
原创 【CrossPoint】CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Underst
CrossPoint是一种自监督学习框架,用于学习可迁移的点云表示。它通过两种关键机制实现:1)模态内实例判别(IMID),通过对同一3D对象的不同增强视图保持特征一致性;2)跨模态实例判别(CMID),将3D点云特征与对应2D渲染图像特征对齐。该方法结合对比学习,利用NT-Xent损失函数,在无需人工标注的情况下学习具有语义意义的3D表示。实验表明,CrossPoint在多个下游任务中表现优异,有效解决了3D数据标注成本高的问题。项目代码已开源。
2025-08-27 19:52:15
687
原创 【LLM】常用的分词方法(Tokenization)
特点WordPiece合并策略最大化语言模型概率(互信息)与 BPE 的区别不选最高频符号对,而选信息增益最大的组合子词表示用##标记非词首子词典型应用BERT、ALBERT、DistilBERT 等传统的BPE和WordPiece都默认输入是已按空格分词的文本。但许多亚洲语言(如中文、日文、泰文)没有空格,难以直接使用空格分词方法。Facebook 在 XLM 模型中设计了专门的预分词器来解决这个问题。SentencePiece 允许无需空格预处理,直接对原始文本进行子词分词。
2025-06-26 09:00:00
1028
原创 【LLM】Encoder-only、Encoder-Decoder、Decoder-only
Decoder 部分有注意力矩阵的 Mask 处理(Triangular Mask)**示例:**预测下一个词:已生成”远方有颗萃果树,它非常__”,现在想要预测“__”的部分**核心机制:**取最后一个词的表示 → 线性投影到词汇表概率分布 → 采样下一个词步骤:常用的采样策略:**示例:**情绪识别过程:“远方有颗萃果树,它非常美丽。”,想要识别这个句子的情绪是“积极”、“中性”、“消极”。核心机制:添加 特殊 token 用于分类 → 双向自注意力机制 (Bidirectional Self-Att
2025-06-26 09:00:00
942
原创 【Docker】10 min 快速入门 Docker
Docker 是一个用于构建、运行和传送应用程序的平台,与虚拟机相比,它使用宿主机的操作系统,启动速度更快且资源占用更少。虚拟机将物理服务器虚拟化为多个逻辑服务器,每个都有自己的操作系统,但资源占用大且启动慢。Docker 通过镜像(模板)和容器(实例)实现应用程序的快速部署。通过创建 Dockerfile,可以构建镜像并运行容器,简化了应用程序在不同环境中的部署流程。例如,使用 Dockerfile 可以指定基础镜像、复制应用程序文件并执行启动命令,从而快速运行应用程序。
2025-05-17 08:30:00
360
原创 【LLM】Llama-Index 架构
含义:摘要索引,用于按顺序存储节点,便于进行摘要生成。功能存储结构:将节点以顺序链的形式存储。查询方式:查询时,可以根据不同的模式(如基于嵌入的查询、关键词过滤等)检索节点。摘要生成:支持从索引中生成摘要,适用于需要对大量文本进行快速摘要的场景。应用场景:适用于需要对文档进行摘要或总结的场景,如新闻摘要、文档概览等。含义:文档摘要索引,用于存储文档的摘要信息。功能存储结构:将文档的摘要以索引的形式存储,便于快速检索。查询方式:支持基于关键词或语义的查询,可以快速找到与查询相关的文档摘要。
2025-04-15 09:32:11
804
原创 【LLM】提示词工程
temperature 是一个超参数,用于控制 softmax 采样的平滑程度,从而影响生成文本的多样性或确定性。在计算下一个单词(token)的概率分布时,temperature 的公式如下:P(xi)=exp(zi/T)∑jexp(zj/T) P(x_i) = \frac{\exp{(z_i / T)}}{\sum_j \exp{(z_j / T)}} P(xi)=∑jexp(zj/T)exp(zi/T)其中:高温(T > 1):低温(0 < T < 1):极端情况:通常,temp
2025-04-09 15:20:59
816
原创 处理语言模型返回的响应
是在处理语言模型(如 OpenAI 的 GPT 系列)返回的响应时,用于。为了更好地理解它,我们需要先了解语言模型响应的结构。
2025-04-07 19:54:59
1029
原创 【MiniMind】不能全局用 `pip install --upgrade pip`
为了避免以root用户运行pip带来的潜在问题,建议使用虚拟环境来管理项目依赖。虚拟环境可以提供隔离、可移植和安全的开发环境,非常适合 Python 项目开发。
2025-04-05 22:10:28
952
原创 【Tensor】Low-Rank Tensor Constrained Multiview Subspace Clustering
在子空间聚类(Subspace Clustering)中,XZ是一个关键的概念,表示数据矩阵X和子空间表示矩阵Z的乘积。1. 子空间表示矩阵Z的作用Z是一个N×NN \times NN×N的矩阵(N 是样本数量),表示样本之间的线性关系。每个元素ZijZ_{ij}Zij表示样本iii和样本jjj之间的相似性或连接权重。Z捕捉数据的子空间结构,即每个样本可以用其他样本的线性组合来表示。2. 数据矩阵X的作用X是一个d×Nd \times Nd×N。
2025-03-09 13:07:33
1123
原创 【LLM】KV Cache
KV Cache通过缓存中间结果,优化了Transformer模型的推理过程,提升了生成任务的效率,尤其在处理长序列时效果显著。KV Cache主要用于自注意力(Self-Attention)中,而不是交叉注意力(Cross-Attention)KV Cache 主要用于自注意力,而不是交叉注意力。在自注意力中,KV Cache 通过缓存之前 token 的 K 和 V,避免重复计算,从而提高推理效率。在交叉注意力中,由于编码器的输出是固定的,KV Cache 的优化作用较小。
2025-03-09 13:03:55
1250
原创 【LLM】从零开始实现 LLaMA3
在这里,我们不会实现一个 BPE 分词器(但 Andrej Karpathy 有一个非常简洁的实现)。BPE(Byte Pair Encoding,字节对编码)是一种数据压缩算法,也被用于自然语言处理中的分词方法。它通过逐步将常见的字符或子词组合成更长的词元(tokens),从而有效地表示文本中的词汇。:首先,将所有词汇表中的单词分解为单个字符或符号。例如,单词 “hello” 会被表示为。:接下来,统计所有字符对(相邻字符组合)的出现频率。
2025-03-04 14:01:36
1572
原创 【LLM】Group Query Attention (GQA)
在 Transformer 模型中,注意力机制的计算开销很大,尤其是当序列长度和模型规模增加时。Group Query Attention (GQA) 是一种改进的注意力机制,旨在。的方式,减少了计算量,同时尽量保留了模型的表达能力。这样,既减少了计算量,又保留了不同注意力头的多样性。
2025-02-04 09:00:00
1550
原创 【LLM】Rejection Sampling
Rejection Sampling 是一种从复杂分布中生成样本的方法。有时候,我们无法直接从目标分布中采样(比如目标分布的形式太复杂)。这时,我们可以用一个简单的分布来生成样本,然后通过规则筛选出符合目标分布的样本。假设我们有一个奇怪的形状(比如一个山峰),我们想从这个形状中随机撒点。但直接撒点很困难,于是我们用一个简单的矩形来覆盖这个山峰,然后在矩形内随机撒点。如果点落在山峰内,就接受;否则就拒绝。选择一个简单的分布qx(比如均匀分布),用它来生成样本。
2025-02-04 09:00:00
1056
原创 【LLM】Layer Norm 和 RMS Norm 的区别?
Layer Norm 对每个样本在特征维度上进行归一化,计算均值和方差,并对输入进行缩放和平移。
2025-02-03 09:00:00
2337
原创 【LLM】旋转位置编码 RoPE
将词向量的每一维根据其位置进行变换,从而让模型能够感知到词的位置信息。通过这种方式,词向量的每一维都会根据位置进行旋转,从而融入位置信息。(比如 Sinusoidal 位置编码),但它可能无法很好地捕捉。这个矩阵的作用是对词向量的每一对维度进行旋转。在 Transformer 模型中,词与词之间的。的方式,能够更好地建模词与词之间的相对位置关系。,我们将它分成两部分,每部分的维度是。其中, \theta 是与位置相关的角度。假设我们有一个二维的词向量。具体来说,对于每一对。旋转位置编码是一种将。
2025-02-03 09:00:00
1242
原创 【Transformer】手撕Attention
这段代码实现了一个完整的多头注意力机制,包括线性变换、缩放点积注意力、掩码处理、softmax归一化、多头结果的合并和最终的线性变换。多头注意力机制是Transformer模型的核心组件,广泛应用于自然语言处理、计算机视觉等领域。这段代码实现了一个层归一化(Layer Normalization)模块层归一化是深度学习中常用的一种归一化技术,用于稳定训练过程并加速收敛。
2025-02-01 09:00:00
1190
原创 【MISC】集对分析法 (SPA)
集对分析法(Set Pair Analysis,简称SPA)是一种用于处理不确定性和模糊性问题的分析方法。它。SPA特别适用于解决那些具有多重不确定性和复杂关系的系统问题,广泛应用于管理学、工程学、经济学等领域。具体来说,集对分析法通过引入“集对”这一概念,来刻画不同对象之间的关系。每一对集合都会通过一组对比指标来表示其,常见的对比指标包括一致性、对立性和不确定性。集对分析法的优势在于其灵活性和能够处理不确定性和复杂关系的能力。
2025-01-21 13:30:55
1010
原创 【MISC】熵权法
熵权法是一种用于多属性决策分析中的加权方法,通常用于综合评估和选择最优方案。该方法基于信息熵的概念,。熵越大,表示该指标的信息量越分散,权重越低;熵越小,表示该指标的信息量集中,权重越高。熵权法能够有效避免人为赋权的主观性,提高权重分配的客观性,常用于评价和决策分析中。
2025-01-21 13:30:23
1149
原创 【python 基础】Python数据类型 & Python 整型数据类型
当变量的值发生变化时,变量指向的数据的类型会发生变化。函数查看数据类型,可以查看变量、字面量或常量的数据类型。)具有动态大小,内存占用随数值的大小增加。),可以将整数表示为十六进制、八进制和二进制。可以查看一个整数占用的内存字节数。Python中的整数类型(通过使用不同的前缀(
2025-01-20 10:27:40
676
原创 【python 基础】Python 格式化输出 & 加号的使用
推荐使用:f-strings(格式化字符串字面量)是最简洁的格式化方式,尤其适用于Python3.6及以上版本。format():较为灵活且适用于多个版本的Python,但代码稍显冗长。百分号操作符:是一种旧的格式化方法,适合一些简单需求,但不如其他两种方式灵活。
2025-01-20 10:26:54
704
原创 【python 基础】Python代码规范 & 变量基本原理
在Python编程中,遵循代码规范可以提高代码的可读性、可维护性。学会利用Python的官方文档,可以帮助开发者快速掌握语言特性和标准库,提升编程效率。变量:在编程中,变量就像是存储信息的容器。它可以存储数据,并允许程序访问、修改或操作这些数据。
2025-01-18 18:01:34
921
原创 【CLIP-LIT】Iterative Prompt Learning for Unsupervised Backlit Image Enhancement
我们提出了一种新颖的无监督逆光图像增强方法,简称为 CLIP-LIT,通过探索(CLIP)在像素级图像增强中的潜力。我们证明了开源的 CLIP 先验不仅可以区分逆光图像和光照良好的图像,还可以感知具有不同亮度的异质区域,从而促进增强网络的优化。与[[高层次图像操作]]任务不同,直接将 CLIP 应用于图像增强任务并不容易,原因在于。为了解决这个问题,我们设计了一种提示学习框架。
2025-01-15 20:48:14
1050
原创 【CLIP-LIT】Iterative Prompt Learning for Unsupervised Backlit Image Enhancement
针对的问题:无监督逆光图像增强研究的方法:对比语言-图像预训练 “Contrastive Language-Image Pre-Training (CLIP)” (Liang 等, 2023, p. 8094) (pdf遇到的困难:很难找到准确的提示词用于图像增强任务解决的方法:开源的 CLIP 先验促进增强网络的优化可以区分逆光图像和光照良好的图像感知具有不同亮度的异质区域提示学习框架约束 “text-image similarity” (Liang 等, 2023, p. 8094。
2025-01-15 12:24:02
1045
原创 【论文分享】U-Net: Convolutional Networks for Biomedical Image Segmentation
U-Net 是一种经典的卷积神经网络架构,最初由 Olaf Ronneberger 等人在 2015 年提出,用于生物医学图像分割任务。它具有对称的 “U” 形结构,适合。(Fully Convolutional Network, FCN),设计用于图像分割任务。x-y尺寸标注在框的左下角。白色框表示复制的特征图。箭头表示不同的操作。U-Net 的架构呈现对称的 “U” 形,由。下面通过步骤解释什么是 U-Net,以及它的构成和工作原理。U-net架构(以最低分辨率为32x32像素为例)。
2025-01-07 10:54:19
1151
原创 【Tensor Computation for Data Analysis】Tensor Singular Value Thresholding(T-SVT)
张量奇异值阈值化(Tensor Singular Value Thresholding, TSVT)是基于 t-SVD 方法的。:沿着张量的第三维(时间或通道方向)对张量进行离散傅里叶变换(DFT),得到一个张量。问题,例如在图像修复、数据压缩或机器学习中的高维数据处理中。(沿着第三维进行)分解成多个矩阵的 SVD 结果的组合。(即每个傅里叶频率的矩阵)进行奇异值分解(SVD)。,去掉较小的奇异值,从而得到一个低秩的张量近似。在进行张量奇异值阈值化之前,需要理解。(张量奇异值阈值化)是。
2024-12-19 09:27:38
897
原创 【Tensor Computation for Data Analysis】T-SVD(Tensor Singular Value Decomposition)
T-SVD(Tensor Singular Value Decomposition)是针对三维张量的一种。
2024-12-19 09:26:24
1554
1
原创 【Tensor Computation for Data Analysis】1.5.4 t-Product
将傅里叶变换应用到张量上,可以将第三维的“循环卷积”简化为普通的矩阵乘法。的高效计算方式,用于张量操作,尤其适合处理有周期性或多维结构的数据。这一步将频域结果转换回原来的时间域,得到最终结果。t-product 的核心思想是借助。,同时对每一片“切片”进行了计算。是原切片经过傅里叶变换后的矩阵。将结果切片逆变换回原空间,得到。表示在频域中的张量。t-product 就是结合。它保留了第三维的深度。,它是频域中的张量。
2024-12-17 11:14:33
733
原创 【Tensor Computation for Data Analysis】1.4.1 Mode-n Unfolding
它将高阶张量(多维数组)沿某个模式(mode)展平成矩阵。通过这种展平,张量的多维结构可以在矩阵的形式下更容易处理,特别是在算法实现中,例如张量分解、主成分分析等。个维度的元素取出,展开为矩阵的行,而将其余维度展平为矩阵的列。个模式展平成一个矩阵的操作。展开后的矩阵可以表示为。
2024-12-17 11:13:41
884
1
原创 【论文分享】如何写一篇论文
标题的扩充覆盖文章的出发点、亮点、效果评估指标:evaluation metrics视觉效果:visual effects200字左右我们考虑了XX系统中的XX问题,利用XX方法/原理来进行研究,遇到了XX阻碍,用XX方法解决,达到XX的效果。注意与摘要的区别,重点在于已经完成了XXX未来的研究。
2024-12-12 09:53:06
345
原创 【机器学习导引】ch6-支持向量机
平稳性(Stationarity)∇fx∗α∗∇gx∗0∇fx∗α∗∇gx∗0这个条件说明,在最优解处,目标函数的梯度和约束的梯度通过拉格朗日乘子α∗\alpha^*α∗的加权和为零。原始问题可行性(Primal feasibility)gx∗≤0gx∗≤0该条件要求解x∗x∗必须满足原始问题的约束条件。对偶问题可行性(Dual feasibility)α∗≥0α∗≥0对偶变量α∗\alpha^*α。
2024-11-12 17:04:53
701
原创 【机器学习导引】ch4-决策树
信息熵的公式表示样本集合的无序程度,信息增益则衡量某个属性的划分能够降低多少无序程度。通常在决策树的构建中,会选择信息增益最大的属性进行划分。独立发生,它们的联合概率可以表示为各自概率的乘积,因此对应的总信息量就是各自信息量的和。过拟合是由于分类训练样本的分支过多导致模型在训练集上表现很好,但在实际应用中表现较差的现象。,信息增益越大,表示该属性能够更好地将数据分类,是决策树算法中选择最佳划分属性的依据。信息熵是衡量样本集合**“纯度”**的常用指标。即如果所有样本都属于同一类,则信息熵为。
2024-11-02 11:57:10
1183
原创 【机器学习导引】ch3-线性模型-2
梯度下降法是一种优化算法,目的是找到函数 $f(x)$ 的最小值。图中提到“如果能找到一个序列 $x_0, x_1, x_2, \dots$ ” ,使得每一步都满足:$f(x_{t+1}) < f(x_t)$这意味着每一步更新 $x$ 的时候,函数 $f(x)$ 的值都在下降,也就是朝着局部最小点的方向移动。
2024-10-10 11:02:18
1026
基于SSM++jsp的电子竞技管理平台
2024-08-10
基于SSM++jsp的的购物商城系统
2024-08-10
基于SSM++JSP的单位人事管理系统
2024-08-10
基于SSM++jsp的大学生兼职平台
2024-08-09
基于SSM++jsp的菜匣子优选系统
2024-08-09
基于SSM++jsp的班主任助理系统
2024-08-09
人工智能图像处理系统matlab
2024-07-09
【MongoDB Basics ( v6.x )】mongodb-basics-master.zip
2024-07-05
【《ROS机械臂开发与实践》教材的课后题详解】ros-arm-exercises-main
2024-07-05
【算法导论第三版中的算法及习题】CLRS-master
2024-07-05
【Netflix homepage clone】netflix-master
2024-07-05
LCD1602ESP32-compatible example for I2C-LCD1602 Display
2024-06-29
【项目注释+论文复现+算法竞赛+Pytorch实践】PytorchNetHub-master
2024-07-01
【Ruby training for friends】ruby-master
2024-07-01
【delphi sources】delphi-master
2024-07-01
【Fortran语言个人科学例程集】fortranlib-master
2024-06-30
【C# 监控与数据采集】SharpSCADA-master.zip
2024-06-30
【Elasticsearch 的官方 Python 客户端】elasticsearch-py-main
2024-06-30
【医学影像数据集索引】dataset-main
2024-06-29
【ubuntu下操作系统开发学习】ubuntu230os-master
2024-06-29
基于SSM++jsp的蜀都天香酒楼网站
2024-09-07
基于SSM++jsp的实验中心管理系统
2024-09-07
基于SSM++jsp的实验室耗材管理系统
2024-09-07
基于SSM++jsp的社区文化宣传网站
2024-08-31
基于SSM++jsp的社区管理与服务系统
2024-08-31
基于SSM++jsp的人事管理信息系统
2024-08-23
基于SSM++jsp的人才招聘网站系统
2024-08-23
基于SSM++jsp的汽车养护管理系统
2024-08-23
基于SSM++jsp的汽车配件销售业绩管理系统
2024-08-23
基于SSM++jsp的汽车客运站管理系统
2024-08-23
基于SSM++jsp的精品酒销售
2024-08-23
基于SSM++jsp的家政服务网站系统
2024-08-16
基于SSM++jsp的家居商城系统
2024-08-16
基于SSM++jsp的简易版营业厅宽带系统
2024-08-16
基于SSM++jsp的共享客栈管理系统
2024-08-15
基于SSM++jsp的会员管理系统
2024-08-15
基于SSM++jsp的公司员工信
2024-08-15
基于SSM++jsp的高校专业信息管理系统
2024-08-11
基于SSM++jsp的房屋租售网站
2024-08-11
基于SSM++jsp的多角色学生管理系统
2024-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人