![](https://img-blog.csdnimg.cn/358390ff6aa042f08be54ba7e5eb7f9e.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文阅读
文章平均质量分 91
通过阅读论文来学会站在巨人的肩膀上。本专栏存放论文阅读笔记。
来日可期1314
世界是个无限循环
展开
-
【论文阅读】SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning
本文首先通过一个统一的样本加权公式,回顾了流行的伪标记方法,并证明了带阈值的伪标记固有的数量-质量权衡问题,该问题可能会禁止学习。为此,我们提出了软匹配算法,通过在训练过程中保持大量和高质量的伪标签,有效地利用未标记的数据来克服这种折衷。我们推导了一个截断的高斯函数来根据样本的置信度对样本进行加权,这可以被看作是控制阈值的一个软版本。一个Trick。本文是半监督match方法,本质就结合伪标签和一致性正则的半监督算法。原创 2023-08-20 23:05:09 · 556 阅读 · 1 评论 -
【论文阅读】Twin neural network regression is a semi- supervised regression algorithm
TNNR是作者以前的工作,但是针对回归问题的,这篇论文针对的是半监督回归(semi-supervised regression)。通过集成未见过的数据点的目标与所有训练数据点之间的预测差异,可以获得对原始回归问题的非常准确的预测。这一步应该是描述对于不同差异的平均操作。这一步在上一篇论文中有介绍。前置工作。这篇工作是原作者方法对于半监督学习方向的拓展。原创 2023-06-08 19:51:13 · 867 阅读 · 1 评论 -
【论文阅读】Twin Neural Network Regression
虽然集合通常是昂贵的生产,但TNN回归本质上创建的预测集合是训练集大小的两倍,同时只训练单个神经网络。为什么是这样的,阅读后面的内容值得注意。全文中主要出现了两个关键字,esemble和。原创 2023-06-07 11:11:12 · 660 阅读 · 0 评论 -
【自问自答】Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling
值得注意的是,与传统的单输出不同,文中的模型有两个输出,分别对应预测值(x_m)与对应的不确定性(x_v)。,在这里是我精度之后产生的问题以及对应的我的理解(不一定正确,可能存在强行解释)。,其中数字表示网络用的总层数,越多表示网络越深也就是越复杂。其中,在原文中有五个参数量不同的网络结构,分别是。从代码上来看,仅仅是在层与层之间添加了。本文使用的BNN结构是怎样的呢?由于之前已经写过这篇论文的。,其中具体的结构是怎样的?作为编码器提起图像特征。原创 2023-05-29 15:16:11 · 132 阅读 · 0 评论 -
【论文阅读】Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling
提出半监督回归的应用场景,年龄估计和医学任务,后续的实验也是按照这样进行的。说得太对了,半监督兴,半监督回归王。半监督分类任务中的伪标签通过阈值来获取,而回归任务中的伪标签是一个实数,对于伪标签的质量更加严苛。UncertaintyConsistent:不确定性一致性Variational Model:变分模型Ensembling:集成heteroscedastic regression:异方差回归。原创 2023-05-17 21:39:03 · 306 阅读 · 1 评论 -
【论文阅读】Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning
总览半监督学习。提到半监督分类中的一致性正则。提到本文中适用了伪标签技术(soft pseudo-labels)。核心的贡献。提出了确认偏差(confirmation bias),本文贡献是证明了和是有效减少确认偏差的正则技术。这一点就很令人惊讶了,伪标签技术的方法超过了一致性正则的方法。还没看原文,应该是还没有出现FixMatch和FlexMatch方法。原创 2023-05-14 23:02:21 · 833 阅读 · 1 评论 -
【论文阅读】Self-Paced Boost Learning for Classification
SPL将(自步学习,从容易到难的学习)和Boost(集成学习)融合在一起,同时保证有效性与鲁棒性。原创 2023-04-19 22:11:45 · 413 阅读 · 0 评论 -
【论文阅读】Self-paced Multi-view Co-training
提纲挈领的第一句。(八股文)指出现有方法的不足,第一点: 初始伪标签质量差,现有的方法不会替换(更新)以前打的伪标签。值得注意的是,一般只会提出一项不足,这篇论文提出了三点,这也意味着跟多的贡献点。第二点不足:现有方法大多针对两个视图,不能直观的拓展到多个视图。第三点不足:没有一个优化模型来解释一个协同训练过程管理优化的目标。提出方案处理第一个不足,方案会替换前期打的伪标签(处理第二个不足,能自然的拓展到多视图(不局限于两个视图)。隐含处理了第三个不足(额外的并行优化方案。原创 2023-04-11 20:33:11 · 638 阅读 · 2 评论 -
【论文阅读】On clustering using random walks
《On clustering using random walks》阅读笔记1. 问题建模1.1 问题描述let G(V,E,ω)G(V,E,\omega)G(V,E,ω) be a weighted graph, VVV is the set of nodes, EEE is the edge between nodes in VVV, ω\omegaω is the function ω:E→Rn\omega:E \to \mathbb{R}^nω:E→Rn, that measures the原创 2023-04-11 14:19:07 · 406 阅读 · 0 评论 -
【论文阅读】Co-EM Support Vector Learning
本文的贡献是将Co-EM算法的基础分类器从朴素贝叶斯分类器()拓展到支持向量机(SVMCo-EM有和朴素贝叶斯分类器(概率模型)耦合在一起吗。本文对于py∣xj∗py∣xj∗实在是难以理解,但是本文的工作就是一个延申工作,将Co-EM的基础模型朴素贝叶斯替换为SVM。原创 2023-04-10 17:59:40 · 353 阅读 · 1 评论 -
【论文阅读】Analyzing the Effectiveness and Applicability of Co-training
近年来,将标记数据和未标记数据结合起来用于文本学习任务的监督学习算法越来越受到人们的关注。 协同训练集[1]适用于将其特征自然分离成两个不相交集的数据集。 我们证明,当从标记和未标记的数据中学习时,显式地利用特征的自然独立分裂的算法优于不利用特征的算法。 当不存在自然分裂时,制造特征分裂的协同训练算法可能比不使用分裂的算法性能更好。 这些结果有助于解释为什么协同训练算法在本质上具有鉴别性,并且对其嵌入类的假设具有鲁棒性。原创 2023-04-09 17:14:38 · 341 阅读 · 1 评论 -
【论文阅读】Single-Model Uncertainties for Deep Learning
本文研究的问题是量化深度神经网络的不确定性。其中,不确定性可以大致分为两种,一种是, 另外一种是。本文针对两种不确定性,分别提出了两种量化方法,一种是Simultaneous Quantile Regression(SQR),另外一种是Orthonormal Certificates(OCs本文和前有工作最大的不同是,用简单的线性网络结构量化不确定性,大部分的不确定性预测工作是用贝叶斯神经网络。原创 2023-04-01 22:11:19 · 359 阅读 · 1 评论 -
【论文阅读】Delving into Deep Imbalanced Regression
现实数据存在不平衡分布,即某些目标值的观测量明显较少。然而现有的技术集中在分类问题上,在连续目标的预测(回归问题)很少讨论。言简意赅的引出研究问题。本文的两个贡献:LDS: Label Distribution Smoothing. 获得影响回归预测错误率的真实标签分布(连续标签影响)。这一点在分类问题中不存在,分类的标签分布就是影响分类预测的真实分布。Feature Distribution Smoothing. 平滑标签分布,它的提出是由于一个直觉:相似标签的样本在特征空间也距离近。原创 2023-03-24 21:34:09 · 410 阅读 · 1 评论 -
【论文阅读】High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
我们提出了一种利用CGAN从语义标记映射合成高分辨率真实感图像的新方法。条件GAN已经实现了多种应用,但其结果往往局限于低分辨率,而且离现实还很远。在这项工作中,我们使用一种新的对抗损失,以及新的多尺度生成器和鉴别器结构,生成了2048×1024视觉上吸引人的结果。此外,我们将我们的框架扩展到交互式视觉操作,并增加了两个特性。首先,我们结合了对象实例分割信息,它支持对象操作,如删除/添加对象和更改对象类别。其次,我们提出了一种在给定相同输入的情况下生成不同结果的方法,允许用户交互地编辑对象外观。原创 2023-02-16 22:09:03 · 97 阅读 · 1 评论 -
【论文阅读】Intrinsically semi-supervised methods
算法直接优化带有标记和未标记样本组件的目标函数,这些我们称之为本质上半监督的方法,不依赖于任何中间步骤或有监督的基础学习器。通常,它们是现有监督方法的扩展,以在目标函数中包含未标记的样本。...............原创 2022-06-24 15:00:11 · 673 阅读 · 0 评论 -
【论文阅读】Virtual Adversarial Training: a Regularization Method for SL and SSL
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning原创 2022-08-01 21:54:31 · 178 阅读 · 1 评论 -
【半监督论文综述】A survey on semi-supervised learning
半监督综述论文:《A survey on semi-supervised learning》阅读笔记原创 2022-06-16 12:48:36 · 2995 阅读 · 0 评论 -
【论文阅读】Mean teachers are better role models
【论文阅读】Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results原创 2022-07-21 22:51:37 · 670 阅读 · 0 评论 -
【论文阅读】Semi-Supervised Learning with Ladder Networks
论文阅读: Semi-Supervised Learning with Ladder Networks原创 2022-06-20 22:21:35 · 980 阅读 · 0 评论 -
【论文阅读】TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING
【论文阅读】TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING原创 2022-07-20 23:51:05 · 435 阅读 · 0 评论 -
【论文阅读】A multi-scheme semi-supervised regression approach
【论文阅读】《A multi-scheme semi-supervised regression approach》原创 2022-08-19 00:07:03 · 163 阅读 · 1 评论 -
【论文阅读】Label Encoding for Regression Networks
论文八股的表现,描述现状,however引出问题。前人工作,引出将回归问题转化为一组二分类问题的解决方案,由前人工作引出这是有效的。framework本文的主要工作,也就是写在之后的内容。从摘要中可以看出,本文主要是提出一个框架,相比于直接处理回归问题,本文将回归通过编码器、解码器转化为一组二分类问题来解决。其实感觉创新点不够硬,因为这样处理回归问题已经出现过了,但是可以看出工作量惊人,较为系统的分析了整个框架,消融实验,对比实验是做的真的多。本文的核心就是将回归问题有效的转化为一组二分类问题。原创 2023-02-07 16:41:52 · 334 阅读 · 1 评论 -
【论文阅读】Fully Convolutional Networks for Semantic Segmentation
卷积网络"是功能强大的可视化模型,它可以产生特征层次。我们表明卷积网络本身,训练端到端,像素到像素,超过了语义分割的最新水平。我们的关键见解是建立"全卷积"网络,它接受"任意大小"的输入,并通过有效的推理和学习产生"相应大小的输出”。我们定义并详述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并画出了与先验模型的联系。我们将当代分类网络(AlexNet [19]、VGG网络[31]和GoogleNet [32])调整为全卷积网络,并通过微调[4]将其学习表示转移到分割任务。原创 2023-02-06 14:52:16 · 269 阅读 · 1 评论 -
【论文阅读】Interpolation Consistency Training for Semi-Supervised Learning
我们介绍了插值一致性训练 (ICT),这是一种简单且计算效率高的算法,用于在半监督学习范式中训练深度神经网络。ICT 鼓励在未标记点的插值上的预测与在这些点的预测的插值一致。在分类问题中,ICT 将决策边界移动到数据分布的低密度区域。我们的实验表明,当应用于 CIFAR-10 和 SVHN 基准数据集上的标准神经网络架构时,ICT 实现了最佳性能。我们的理论分析表明,ICT 对应于某种类型的具有未标记点的数据自适应正则化,从而减少了在高置信度值下对标记点的过度拟合。原创 2022-10-19 22:02:21 · 636 阅读 · 1 评论 -
【论文阅读】Learning Safe Prediction for Semi-Supervised Regression∗
【论文阅读】《Learning Safe Prediction for Semi-Supervised Regression∗》原创 2022-08-18 16:24:44 · 239 阅读 · 0 评论 -
【论文阅读】Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks
【论文阅读】Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks原创 2022-08-17 00:03:36 · 824 阅读 · 0 评论 -
【论文阅读】Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning
【论文阅读】Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning原创 2022-08-10 00:08:33 · 600 阅读 · 0 评论 -
【贝叶斯】A Bayesian Approach to Digital Matting
标题:一个用于数字抠图的贝叶斯方法1. 摘要这篇论文推荐用一种新的贝叶斯框架来解决图片的消光问题,即通过估计每个前景元素的不透明度来将图片中的前景从背景中分离。我们的解决方案通过空间变化高斯模型来同时模拟前景和背景的颜色贡献,并且假设是前景色和背景色的分数混合产生最终的图像。再用最大似然概率作为标准来同时估计最合适的不透明度,前景,和背景。我们的算法除了提供了消光问题的方法准则,还能有效的解决错综复杂的边界对象,比如发丝,毛。并且我们提供了对解决这一难题的现有技术的改进方案....原创 2022-05-09 14:39:35 · 360 阅读 · 0 评论 -
【图卷积网络】Graph Convolutional Network
1. 图卷积网络1.1. 为什么会出现图卷积网络普通卷积神经网络研究的对象是具备Euclidean domains的数据,Euclidean domains data数据最显著的特征是他们具有规则的空间结构,如图片是规则的正方形,语音是规则的一维序列等,这些特征都可以用一维或二维的矩阵来表示,卷积神经网络处理起来比较高效。然而,现实生活中很多数据不具备规则的空间结构,称为Non Euclidean data,如,推荐系统、电子交易、分子结构等抽象出来的图谱。这些图谱中的每个节点连接不尽相同,有的节点有原创 2022-03-14 22:42:20 · 1702 阅读 · 2 评论