- 博客(28)
- 收藏
- 关注
RSS订阅原创 CS保研面试问题
一、基础定义1. P类问题（Polynomial Time）定义：所有可以在确定性图灵机上用多项式时间解决的问题。示例：排序、最短路径（Dijkstra算法）。2. NP类问题（Nondeterministic Polynomial Time）定义：所有可以在非确定性图灵机上用多项式时间解决的问题，或等价地，其解可以在多项式时间内被验证的问题。示例：旅行商问题（TSP）的判定版本、布尔可满足性问题（SAT）。3. NP难问题（NP-Hard）定义：若一个问题满足。
2025-06-04 11:12:20
802
原创 西瓜书第十一章——降维与度量学习
给定测试样本，算法通过度量空间中的距离函数，从训练集中选取与之最近的k个样本，利用这些邻居的类别标签进行预测。最关键的是选取合适的k，k过小即过拟合，过大则欠拟合。通过最大化数据内在方差与最小化信息损失的双重优化，PCA构建了高维数据在低维空间的最优线性表征，其数学严密性与计算可行性奠定了其作为基础降维技术的核心地位。时，分类错误率不超过贝叶斯最优错误率的两倍。根据距离排序，选择与测试样本距离最小的k个训练样本，构成邻域集合。），计算测试样本与所有训练样本的相似性。，从而避免降维导致的样本分布畸变。
2025-06-01 22:23:25
785
1
原创 西瓜书第十章——聚类
聚类是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律，即不依赖于训练数据集的类标记信息。聚类则是试图将数据集的样本划分为若干个互不相交的类簇，从而每个簇对应一个潜在的类别。聚类算法全面解析。
2025-06-01 15:49:19
831
原创 西瓜书第五章——感知机
使用感知机模型对西瓜种类进行分类：而我们的任务就是，用感知机算法建立一个模型，利用训练集上的数据对模型进行训练，并对测试集上的数据进行分类。类似于SVM，决策为yiwixb0则分类错误，而yiwxib0则分类正确因此损失函数为Lwb−∑i∼Myiwxib需要注意的点1.传入的data的形状是（m_samples, n_features），因此初始化w与b的时候需要取data.shape[1]获得特征维度。
2025-05-31 23:07:20
644
原创 西瓜书第九章——集成学习
顾名思义，集成学习（ensemble learning）指的是将多个学习器进行有效地结合，组建一个“学习器委员会”，其中每个学习器担任委员会成员并行使投票表决权，使得委员会最后的决定更能够四方造福普度众生，即其泛化性能要能优于其中任何一个学习器。集成学习的关键是训练准确率高且具有多样性的基学习器。以下是三种主流的集成学习方法Boosting、Bagging以及随机森林（Random Forest）
2025-05-30 23:04:37
1058
原创 极大似然估计与机器学习
复习概统的时候突然发现好像极大似然估计MLE与机器学习的数据驱动非常相似，都是采样样本然后估计模型参数。理解这一框架后，你可以轻松推广到其他分布假设（如泊松回归、鲁棒回归等），并设计新的损失函数来匹配具体问题。损失函数的设计可以统一理解为对数据分布假设的统计推断，这使得概率论成为理解算法背后原理的有力工具。它们都是通过假设数据的生成分布（高斯/伯努利），然后对参数进行极大似然估计导出的。结论：最小二乘法的损失函数是高斯噪声假设下的极大似然估计结果。结论：交叉熵损失是伯努利分布假设下的极大似然估计结果。
2025-05-21 20:30:53
1437
1
原创 Pytorch基础操作
面试的时候，PhD看我简历上面写了”熟悉pytorch框架“，然后就猛猛提问了有关于tensor切片的问题...当然是没答上来，因此在这里整理一下pytorch的一些基础编程语法，常看常新
2025-05-21 20:09:03
552
原创 仍有用武之地：LSTM强于Transformer的场景
Transformer的优势主要在于自注意力机制，可以捕捉长距离依赖，并行计算能力强，训练速度快。而LSTM通过门控机制处理序列，虽然理论上也能处理长依赖，但在实际应用中，当序列非常长时，梯度可能还是会消失或爆炸，导致效果不如Transformer。
2025-04-17 15:50:27
803
原创 论文精读——Decision Transformer: Reinforcement Learning via Sequence Modeling
翻译我们提出了一个将强化学习（RL）抽象为序列建模问题sequence modeling problem的框架。这使我们能够利用 Transformer 架构的简洁性和可扩展性scalability，以及诸如 GPT-x 和 BERT 等在语言建模方面的相关进展。具体而言，我们提出了决策 Transformer（Decision Transformer），这是一种将强化学习问题转化为条件序列建模的架构。
2025-04-17 14:52:47
784
1
原创 论文精读——Rethinking Exploration for Sample-Efficient Policy Learning
Off-policy reinforcement learning for control在性能和样本效率方面取得了巨大进展。我们认为，对于许多任务而言，现代方法的样本效率如今受限于所收集数据的丰富程度richness of the data，而非策略拟合的难度difficulty of policy fitting。我们探究了基于奖励探索（the bonus-based exploration, BBE）
2025-04-07 17:30:18
1522
原创 论文精读——LION: Latent Point Diffusion Models for 3D Shape Generation
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考。
2025-04-03 16:08:40
621
原创 3D diffusion model前置知识：AE/VAE diffusion一般架构
VAE的潜在空间可能自动解耦数据的不同语义维度（如人脸生成中的姿态、表情、光照），通过调整特定维度。传统AE的主要任务是重构输入，而非生成新样本。：训练AE生成人脸图像时，直接对潜在空间随机采样可能生成模糊或非人脸的图像。：通过引入标签信息（如CVAE），可控制生成特定类别样本。VAE变分自编码器更像是AE的扩展，为其增加了生成功能。：编码器不再直接输出确定性的潜在向量，而是输出潜在分布的。）会生成语义连续的样本（如图像中的人脸姿态渐变）。：在潜在空间中，两个编码向量的线性插值（如。
2025-03-31 20:35:13
450
原创 西瓜书机器学习——第六章支持向量机SVM
支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。关键理解：函数间隔用于构建约束条件，几何间隔是优化的本质目标。SVM通过最小化 ∥w∥ 间接最大化几何间隔，同时利用函数间隔约束确保分类正确性。超平面（Hyperplane） 是用于分隔不同类别数据的决策边界。在不同维度空间中表现为：• 二维平面：一条直线（如 w1x1+w2x2+b=0w_1x_1 + w_2x_2
2025-03-28 21:39:59
896
原创 西瓜书第四章——决策树
一、连续值处理（二分法）核心目标：将连续属性离散化，找到最佳划分点。步骤候选划分点生成• 将属性所有取值按升序排列。• 取相邻值的均值作为候选划分点（共 (n-1) 个，(n) 为取值数量）。计算信息增益• 对每个候选点 (t)，将数据集分为两部分：(D_1)（属性值 (\leq t)）和 (D_2)（属性值 (> t)）。• 计算划分后的信息增益选择最优划分点• 选择使信息增益最大的 (t) 作为最终划分点。二、缺失值处理核心思想：保留缺失样本的信息，通过权重分配充分利用数据。
2025-03-28 16:56:25
693
原创 西瓜书第三章——线性模型
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2025-03-09 10:47:13
31
原创 ResVR: Joint Rescaling and Viewport Rendering of Omnidirectional Images
随着虚拟现实virtual reality技术的出现，全景图像（omnidirectional image，ODI）缩放rescaling技术越来越多地被用于在保持高图像质量的同时，减小传输和存储的文件大小。尽管取得了这些进展，但目前的ODI缩放方法主要侧重于提高等距柱状投影（equirectangular projection，ERP）格式图像的质量，却忽略了一个事实，即头戴式显示器（HMD）上显示的内容实际上是渲染后的视口，而不是ERP图像。
2025-03-02 20:07:56
304
原创 论文精读——FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Transformer 模型在处理长序列时速度慢且内存消耗大，因为自注意力机制的时间和内存复杂度与序列长度呈二次关系。近似注意力方法试图通过牺牲模型质量来降低计算复杂度，但通常无法实现实际的加速。我们认为，一个缺失的原则是使注意力算法具备 IO 意识——即考虑 GPU 内存不同层级之间的读写操作。我们提出了 FlashAttention，这是一种具备 IO 意识的精确注意力算法，通过分块技术Tiling减少了 GPU 高带宽内存（HBM）和 GPU 芯片上 SRAM 之间的内存读写次数。我们分析了 Fl
2025-02-27 21:24:21
725
原创 论文精读——InfoGCN: Representation Learning for Human Skeleton-based Action Recognition
基于人类骨骼的动作识别提供了一种理解人类行为复杂性的有价值的方法，因为它能够处理物理约束和意图之间的复杂关系。尽管许多研究集中在对骨骼的编码上，但对将这些信息嵌入到人类动作的潜在表示中关注较少。InfoGCN 提出了一种结合了新颖学习目标和编码方法的动作识别学习框架。首先，我们设计了一种基于信息瓶颈Information bottleneck-based的学习目标，以引导模型学习信息丰富但紧凑的潜在表示。为了提供用于动作分类的判别信息，我们引入了基于注意力的图卷积。
2025-02-23 22:40:21
951
原创 论文精读——Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition
图卷积网络（GCNs）在基于骨架的动作识别中得到了广泛应用，并取得了显著成果。在GCNs中，图拓扑结构主导了特征聚合，因此是提取代表性特征的关键。在本工作中，我们提出了一种新颖的通道级拓扑细化图卷积（CTR-GC），用于动态学习不同的拓扑结构，并在不同通道中有效聚合关节特征，以进行基于骨架的动作识别。所提出的CTR-GC通过学习一个共享拓扑结构作为所有通道的通用先验，并为每个通道细化通道特定的相关性来建模通道级拓扑结构。我们的细化方法引入了很少的额外参数，并显著降低了建模通道级拓扑结构的难度。
2025-02-19 00:38:56
1764
原创 论文精读——InstaRevive:one-step image enhancement via dynamic score machine
由于复杂环境和成像设备的固有局限性，图像增强在现实世界场景中有着广泛的应用。最近基于扩散(Diffusion-based)的方法虽然取得了有希望的成果，但需要长时间和计算密集的迭代采样。为此，我们提出了InstaRevive，这是一个简单而强大的图像增强框架，利用基于分数的扩散蒸馏(Score-based diffusion distillation)来利用强大的生成能力并最小化采样步骤。
2025-02-15 16:55:05
518
原创 论文精读——Recognizing Human Actions as the Evolution of Pose Estimation Maps
大多数基于视频的动作识别方法选择从整个视频中提取特征来识别动作。杂乱的背景和非动作运动限制了这些方法的性能，因为它们缺乏对人體运动的明确建模。随着最近人体姿态估计的进步，这项工作提出了一种新方法，将人体动作识别为姿态估计图的演变 (the evolution of pose estimation maps)。我们不依赖于从视频中估计的不准确的人体姿态，而是观察到姿态估计图（姿态估计的副产品）保留了更丰富的人體线索，以利于动作识别。具体来说，姿态估计图的演变可以分解为热图Heatmaps。
2025-02-12 23:02:42
715
原创 论文精读——A Comprehensive Survey of Continual Learning: Theory, Method and Application
为了应对现实世界的动态性，智能系统需要在其整个生命周期中逐步获取、更新、积累并利用知识。这种能力被称为Continue Learning（持续学习）。从广义上讲，持续学习明显受到catastrophic forgetting（灾难性遗忘）的限制，即学习新任务通常会导致旧任务的性能急剧下降。Continue Learning的核心目的有二，其一为（稳定性与可塑性间的权衡），其二为（足够的任务内/任务间泛化能力）。
2025-02-11 12:11:20
421
原创 Git-lfs:Git Large File Storage大型文件下载操作——以CREMA-D数据集为例
Git-lfs:Git Large File Storage大型文件下载操作——以CREMA-D数据集为例。
2025-02-03 22:53:00
780
1
原创 Multimodal cotraining相关论文笔记（更新中）
近期无目标无指导的阅读了一些多模态可解释性方面的论文，精度与略读都有，希望在这个地方记录一下对这个领域的一些基本了解和一些idea
2025-01-25 17:12:02
860
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人