来日可期1314-CSDN博客

原创 C++ io流

上面的三个类是抽象类，所有的实现都继承自它们三个。Q1: 为什么在实际使用中通常使用的是std::ofstream而不是std::basic_ofstream。两者表示相同的意思，只是std::ofstream是别名。Q2: 模板类有两个模板类型，为什么实际定义中只指定了一个char在模板类申明中指定了默认参数。

2024-04-20 13:53:44 435

原创【Linux】命令拾遗

记录在学习过程容易遗忘、混淆的Linux命令。

2024-03-25 22:11:34 226

原创【CMake】所见所闻所学

可以在 CMake 项目中包含、构建和安装外部项目，而无需手动下载和管理这些外部项目。以下是一个简单的示例，展示如何在 CMake 项目中使用。是 CMake 中用于管理和构建外部项目的模块。本贴仅记录遇到的CMake的问题，以问题为驱动。

2024-03-22 16:29:44 447

原创【虚拟机】常见问题

在VMware设置中增加磁盘容量。在虚拟机中分配磁盘容量。

2024-03-19 17:31:00 137

原创【环境搭建】Ubuntu16 C++

下载软件包下载地址解压文件检查依赖编译make -j8安装。

2024-03-18 14:11:53 460

原创研究生总结

本博客更多是关于自己的感悟，没有翻阅文件详细查证，如果存在错过，也请提出指正。

2024-03-17 12:04:33 1648

原创 Github Gitlab SSH 密钥配置

注意，这里的 -C 表示注释，没有什么用，主要是标记密钥避免自己遗忘。rsa 非对称加密不再被支持。换一个加密算法就行了。私钥权限的问题，只能文件所属用户有读权限。一般来说是网络问题，被墙了。

2024-03-16 16:37:57 1052

原创【论文阅读】Self-Paced Curriculum Learning

课程学习（CL）或自定进度学习（SPL）代表了最近提出的一种学习制度，其灵感来自人类和动物的学习过程，在训练中逐渐从简单到更复杂的样本进行。这两种方法具有相似的概念学习范式，但具体的学习方案有所不同。在 CL 中，课程是由先验知识预先确定的，并且此后保持固定。因此，这种方法严重依赖先验知识的质量，而忽略了学习者的反馈。在 SPL 中，课程是动态确定的，以适应学习者的学习节奏。然而，SPL 无法处理先验知识，因此容易出现过度拟合。

2023-12-30 01:13:18 1550

原创【论文阅读】Uncertainty-aware Self-training for Text Classification with Few Label

预训练语言模型最近的成功关键取决于对下游任务的大量标记数据进行微调，这些数据通常获取成本昂贵或对于许多应用程序来说难以访问。我们将自我训练研究为最早的半监督学习方法之一，通过利用大规模未标记数据来完成目标任务，从而减少注释瓶颈。标准的自训练机制从未标记池中随机采样实例以生成伪标签并增强标记数据。我们提出了一种利用贝叶斯深度学习的最新进展，结合底层神经网络的不确定性估计来改进自我训练的方法。

2023-12-15 23:59:30 339

原创【论文阅读】Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels

存在的问题！尽管如此，最近对深度神经网络记忆效果的研究表明，它们会首先记住干净标签的训练数据，然后记住噪声标签的训练数据。→→对抗嘈杂的标签感觉上和Co-training的内容很像。算法实现结果。这篇文章基于，算法比较容易理解，但是缺少理论证明。其中，很类似于半监督中的，但是两者的应用场景不同，是为了在噪声标签中学习，而是为了利用无标记数据。

2023-12-11 10:55:01 231

原创【论文阅读】FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning

半监督学习（）的两大杀器，（伪标记）和（一致性正则）。提出现有方法的不足，。这里的阈值应该是伪标签加入的阈值，只有大于阈值的伪标签才会加入训练，这一点在基于伪标签技术的方法中十分的常用。至于基于一致性正则中是否也存在这样的阈值，这一点是存疑的。顺利提出自己的核心创新点： self-adaptive confidence threshold。一个trick，避免模型初期过早收敛。自信的算法用三句话来描述自己是art-of-state的。代码地址。论文写作技巧拉满了。

2023-11-10 20:54:33 910 2

原创【论文阅读】SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning

本文首先通过一个统一的样本加权公式，回顾了流行的伪标记方法，并证明了带阈值的伪标记固有的数量-质量权衡问题，该问题可能会禁止学习。为此，我们提出了软匹配算法，通过在训练过程中保持大量和高质量的伪标签，有效地利用未标记的数据来克服这种折衷。我们推导了一个截断的高斯函数来根据样本的置信度对样本进行加权，这可以被看作是控制阈值的一个软版本。一个Trick。本文是半监督match方法，本质就结合伪标签和一致性正则的半监督算法。

2023-08-20 23:05:09 530 1

原创 SMALE周报_20230714

通过阅读论文《Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling》，了解不确定性在半监督回归中的运用。本文对于不确定性，详细来说是认知不确定性，提出了不确定性一致性。简单来说就是，两个模型对于同一个样本预测的不确定也应该相似。论文本身从损失函数的层面是容易理解的，本身的工作量多，阅读难度中等。对本文提出的算法进行代码层面的实践。总结不确定性在神经网络中的运用。

2023-07-14 09:06:05 145

原创 SMALE周报_20230707

原本的神经网络通过最大似然或者最小MSE损失来拟合函数，网络参数是常数，对应函数的预测值也是一个常数，相当于是点估计。而如果我们想预测一个置信区间，我们就需要贝叶斯神经网络，它的参数不是常数而是分布，其预测的也是一个分布，通过置信度计算，就可以变成一个置信度区间，相当于区间估计。这里注意的是，这里描述的不确定性属于模型预测不确定性，也叫认知不确定性（epistemic uncertainty），这一点在后面会讲到。它描述的是简单模型无法拟合复杂数据的所产生的误差（例如，线性模型拟合正弦曲线所产生的误差）。

2023-07-07 17:54:51 318

原创【论文阅读】Twin neural network regression is a semi- supervised regression algorithm

TNNR是作者以前的工作，但是针对回归问题的，这篇论文针对的是半监督回归（semi-supervised regression）。通过集成未见过的数据点的目标与所有训练数据点之间的预测差异，可以获得对原始回归问题的非常准确的预测。这一步应该是描述对于不同差异的平均操作。这一步在上一篇论文中有介绍。前置工作。这篇工作是原作者方法对于半监督学习方向的拓展。

2023-06-08 19:51:13 859 1

原创【论文阅读】Twin Neural Network Regression

虽然集合通常是昂贵的生产，但TNN回归本质上创建的预测集合是训练集大小的两倍，同时只训练单个神经网络。为什么是这样的，阅读后面的内容值得注意。全文中主要出现了两个关键字，esemble和。

2023-06-07 11:11:12 654

原创【自问自答】Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling

值得注意的是，与传统的单输出不同，文中的模型有两个输出，分别对应预测值（x_m）与对应的不确定性（x_v）。，在这里是我精度之后产生的问题以及对应的我的理解（不一定正确，可能存在强行解释）。，其中数字表示网络用的总层数，越多表示网络越深也就是越复杂。其中，在原文中有五个参数量不同的网络结构，分别是。从代码上来看，仅仅是在层与层之间添加了。本文使用的BNN结构是怎样的呢？由于之前已经写过这篇论文的。，其中具体的结构是怎样的？作为编码器提起图像特征。

2023-05-29 15:16:11 129

原创【论文阅读】Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling

提出半监督回归的应用场景，年龄估计和医学任务，后续的实验也是按照这样进行的。说得太对了，半监督兴，半监督回归王。半监督分类任务中的伪标签通过阈值来获取，而回归任务中的伪标签是一个实数，对于伪标签的质量更加严苛。UncertaintyConsistent：不确定性一致性Variational Model：变分模型Ensembling：集成heteroscedastic regression：异方差回归。

2023-05-17 21:39:03 296 1

原创【论文阅读】Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning

总览半监督学习。提到半监督分类中的一致性正则。提到本文中适用了伪标签技术（soft pseudo-labels）。核心的贡献。提出了确认偏差（confirmation bias），本文贡献是证明了和是有效减少确认偏差的正则技术。这一点就很令人惊讶了，伪标签技术的方法超过了一致性正则的方法。还没看原文，应该是还没有出现FixMatch和FlexMatch方法。

2023-05-14 23:02:21 813 1

原创【论文阅读】Self-Paced Boost Learning for Classification

SPL将（自步学习，从容易到难的学习）和Boost（集成学习）融合在一起，同时保证有效性与鲁棒性。

2023-04-19 22:11:45 411

原创【论文阅读】Self-paced Multi-view Co-training

提纲挈领的第一句。（八股文）指出现有方法的不足，第一点：初始伪标签质量差，现有的方法不会替换（更新）以前打的伪标签。值得注意的是，一般只会提出一项不足，这篇论文提出了三点，这也意味着跟多的贡献点。第二点不足：现有方法大多针对两个视图，不能直观的拓展到多个视图。第三点不足：没有一个优化模型来解释一个协同训练过程管理优化的目标。提出方案处理第一个不足，方案会替换前期打的伪标签（处理第二个不足，能自然的拓展到多视图（不局限于两个视图）。隐含处理了第三个不足（额外的并行优化方案。

2023-04-11 20:33:11 636 2

原创【论文阅读】On clustering using random walks

《On clustering using random walks》阅读笔记1. 问题建模1.1 问题描述let G(V,E,ω)G(V,E,\omega)G(V,E,ω) be a weighted graph, VVV is the set of nodes, EEE is the edge between nodes in VVV, ω\omegaω is the function ω：E→Rn\omega：E \to \mathbb{R}^nω：E→Rn, that measures the

2023-04-11 14:19:07 403

原创【论文阅读】Co-EM Support Vector Learning

本文的贡献是将Co-EM算法的基础分类器从朴素贝叶斯分类器（）拓展到支持向量机（SVMCo-EM有和朴素贝叶斯分类器（概率模型）耦合在一起吗。本文对于py∣xj∗py∣xj∗实在是难以理解，但是本文的工作就是一个延申工作，将Co-EM的基础模型朴素贝叶斯替换为SVM。

2023-04-10 17:59:40 348 1

原创【论文阅读】Analyzing the Effectiveness and Applicability of Co-training

近年来，将标记数据和未标记数据结合起来用于文本学习任务的监督学习算法越来越受到人们的关注。协同训练集[1]适用于将其特征自然分离成两个不相交集的数据集。我们证明，当从标记和未标记的数据中学习时，显式地利用特征的自然独立分裂的算法优于不利用特征的算法。当不存在自然分裂时，制造特征分裂的协同训练算法可能比不使用分裂的算法性能更好。这些结果有助于解释为什么协同训练算法在本质上具有鉴别性，并且对其嵌入类的假设具有鲁棒性。

2023-04-09 17:14:38 339 1

原创【论文阅读】Single-Model Uncertainties for Deep Learning

本文研究的问题是量化深度神经网络的不确定性。其中，不确定性可以大致分为两种，一种是，另外一种是。本文针对两种不确定性，分别提出了两种量化方法，一种是Simultaneous Quantile Regression(SQR)，另外一种是Orthonormal Certificates(OCs本文和前有工作最大的不同是，用简单的线性网络结构量化不确定性，大部分的不确定性预测工作是用贝叶斯神经网络。

2023-04-01 22:11:19 353 1

原创【论文阅读】Delving into Deep Imbalanced Regression

现实数据存在不平衡分布，即某些目标值的观测量明显较少。然而现有的技术集中在分类问题上，在连续目标的预测（回归问题）很少讨论。言简意赅的引出研究问题。本文的两个贡献：LDS: Label Distribution Smoothing. 获得影响回归预测错误率的真实标签分布（连续标签影响）。这一点在分类问题中不存在，分类的标签分布就是影响分类预测的真实分布。Feature Distribution Smoothing. 平滑标签分布，它的提出是由于一个直觉：相似标签的样本在特征空间也距离近。

2023-03-24 21:34:09 400 1

原创【论文阅读】Distilling the Knowledge in a Neural Network

第一句引入集成学习，在提出集成学习的缺点是太过笨重，进一步提出可以通过压缩模型的方式解决这个问题。这样的叙事方式很流畅，很值得学习。本文的贡献，在前人的压缩模型的基础上进一步提出不同的压缩方式，还引入了一种新的集成方式。

2023-03-02 16:28:19 366 1

原创【JAVA WEB】01：搭建Spring Boot框架

写这一系列博客的目的就是回味spring boot做java web后端开发。这篇博客是第一篇，后面会由浅入深的学习整个开发过程。

2023-02-21 12:16:50 123

原创【论文阅读】High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

我们提出了一种利用CGAN从语义标记映射合成高分辨率真实感图像的新方法。条件GAN已经实现了多种应用，但其结果往往局限于低分辨率，而且离现实还很远。在这项工作中，我们使用一种新的对抗损失，以及新的多尺度生成器和鉴别器结构，生成了2048×1024视觉上吸引人的结果。此外，我们将我们的框架扩展到交互式视觉操作，并增加了两个特性。首先，我们结合了对象实例分割信息，它支持对象操作，如删除/添加对象和更改对象类别。其次，我们提出了一种在给定相同输入的情况下生成不同结果的方法，允许用户交互地编辑对象外观。

2023-02-16 22:09:03 92 1

原创【论文阅读】Label Encoding for Regression Networks

论文八股的表现，描述现状，however引出问题。前人工作，引出将回归问题转化为一组二分类问题的解决方案，由前人工作引出这是有效的。framework本文的主要工作，也就是写在之后的内容。从摘要中可以看出，本文主要是提出一个框架，相比于直接处理回归问题，本文将回归通过编码器、解码器转化为一组二分类问题来解决。其实感觉创新点不够硬，因为这样处理回归问题已经出现过了，但是可以看出工作量惊人，较为系统的分析了整个框架，消融实验，对比实验是做的真的多。本文的核心就是将回归问题有效的转化为一组二分类问题。

2023-02-07 16:41:52 328 1

原创【论文阅读】Fully Convolutional Networks for Semantic Segmentation

卷积网络"是功能强大的可视化模型，它可以产生特征层次。我们表明卷积网络本身，训练端到端，像素到像素，超过了语义分割的最新水平。我们的关键见解是建立"全卷积"网络，它接受"任意大小"的输入，并通过有效的推理和学习产生"相应大小的输出”。我们定义并详述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并画出了与先验模型的联系。我们将当代分类网络（AlexNet [19]、VGG网络[31]和GoogleNet [32]）调整为全卷积网络，并通过微调[4]将其学习表示转移到分割任务。

2023-02-06 14:52:16 267 1

原创【论文阅读】InfoGAN: Interpretable Representation Learning by Information Maximizing GAN

本文描述了InfoGAN，它是生成对抗网络的一个信息论扩展，能够以完全无监督的方式学习解耦表征。InfoGAN是一个生成式对抗网络，它也能最大化一个小子集的潜在变量与观测值之间的互信息。我们得到了一个可以有效优化的互信息目标的下界。具体来说，InfoGAN成功地从MNIST数据集的数字形状中分离出书写风格，从3D渲染图像的照明中分离出姿势，从SVHN数据集的中心数字中分离出背景数字。它还发现了CelebA脸部数据集上的视觉概念，包括发型、是否戴眼镜和情绪。

2022-12-27 17:53:21 356 1

原创【论文写作】在写作过程中遇到的坑

在论文写作中遇到的坑。

2022-12-20 14:52:44 514

原创【论文阅读】Interpolation Consistency Training for Semi-Supervised Learning

我们介绍了插值一致性训练 (ICT)，这是一种简单且计算效率高的算法，用于在半监督学习范式中训练深度神经网络。ICT 鼓励在未标记点的插值上的预测与在这些点的预测的插值一致。在分类问题中，ICT 将决策边界移动到数据分布的低密度区域。我们的实验表明，当应用于 CIFAR-10 和 SVHN 基准数据集上的标准神经网络架构时，ICT 实现了最佳性能。我们的理论分析表明，ICT 对应于某种类型的具有未标记点的数据自适应正则化，从而减少了在高置信度值下对标记点的过度拟合。

2022-10-19 22:02:21 628 1