Curry30Messi-CSDN博客

原创深度学习领域经典论文简略总结

动量对比学习有n个图片，取出1个，利用这个构造正负样本，正样本为query，负样本和其他n-1个图片的特征构成key，类似于字典查询，计算q k相似度，来学习图像特征highlight1. queue：移动新的mini-batch,移除旧的mini-batch2.动量：保证momentum encoder不会随着encoder 快速改变但凡能找到正负样本都可以当做idea!!

2024-03-05 22:40:22 410

原创论文阅读：completer通过对比预测的不完全多视图聚类

本文研究了不完全多视图聚类分析中的两个具有挑战性的问题，即如何在不借助标签的情况下学习不同视图之间的信息一致的表示和如何从数据中恢复缺失的视图。为此，我们提出了一个新的目标，即从信息论的角度将表示学习和数据恢复整合到一个统一的框架中。具体而言，通过对比学习最大化不同视图之间的相互信息，获得信息丰富的一致表示，通过对偶预测最小化不同视图的条件熵，恢复缺失的视图。据我们所知，这可能是第一个提供统一一致表示学习和跨视图数据恢复的理论框架的工作。

2023-10-30 19:37:31 320

原创数学建模中各个模型的总结

灰化处理（Grey transformation），也称为数据序列灰色化、序列紧邻均值化，是灰色系统理论中的一种数据预处理方法，用于将原始数据序列转化为新的灰色序列。通过灰化处理，原始数据序列被转换为新的灰色序列Z或X1，然后可以基于这些灰色序列建立灰色预测模型，进行数据分析和预测。灰化处理的目的是通过对原始数据的变换，减小数据序列的不确定性和波动性，使其更适合应用于灰色系统建模和预测。需要注意的是，在应用灰化处理时，选择合适的方法取决于问题的特点、数据的性质以及对预测的要求。

2023-10-11 22:27:39 122

原创论文阅读：NLP-Retrieval-Augmented Generation forKnowledge-Intensive NLP Tasks

大型预训练语言模型已被证明可以在其参数中存储事实知识，并在对下游NLP任务进行微调时获得最先进的结果。然而，它们访问和精确操作知识的能力仍然有限，因此在知识密集型任务上，它们的性能落后于特定于任务的架构。此外，为他们的决定提供来源和更新他们的世界知识仍然是开放的研究问题。到目前为止，具有显式非参数记忆的可微分访问机制的预训练模型仅用于提取下游任务。我们探索了检索增强生成(RAG)模型的通用微调配方，该模型结合了预训练的参数和非参数记忆用于语言生成。

2023-09-25 21:37:29 914 1

原创机器学习散记

例如，可以使用循环神经网络（RNN）或长短期记忆网络（LSTM）来构建记忆模型，其中网络的隐藏状态作为记忆单元来存储和检索信息。例如，可以使用循环神经网络（RNN）或长短期记忆网络（LSTM）来构建记忆模型，其中网络的隐藏状态作为记忆单元来存储和检索信息。在每个时间步长，LSTM接收当前输入、前一个时间步长的隐藏状态和细胞状态作为输入，并计算新的隐藏状态和细胞状态。这些模型通过引入门控机制来控制信息的流动和记忆的保留，解决了传统RNN中的梯度消失和梯度爆炸问题，增强了其对长期依赖关系的建模能力。

2023-09-25 21:37:26 86 1

原创数学建模散

与皮尔逊相关系数不同的是，斯皮尔曼等级相关系数不对变量的分布做出任何假设，因此适用于任何类型的变量，包括名义变量和有序变量。在Python中，你可以使用不同的库或函数进行t检验，如scipy.stats中的ttest_ind()、ttest_rel()等，或者statsmodels.stats.weightstats中的ttest_ind()。相比于参数检验，非参数检验不依赖于数据的具体分布情况，而是利用样本数据的秩次信息进行推断。在实际应用中，根据变量的特点和研究问题的需求选择合适的相关系数进行分析。

2023-08-30 19:11:26 62

原创论文阅读：跨类型查询新闻中的医疗索赔

我们提出了一个基于查询的生物医学信息检索任务，跨越两种截然不同的类型——新闻专线和研究文献——其目标是找到支持与健康相关的新闻文章中提出的主要主张的研究出版物。为了完成这项任务，我们提出了一个新的数据集，其中包含5034条来自新闻和研究摘要的声明。我们的方法包括两个步骤:(i)从222k个研究摘要中选择最相关的候选对象，以及(ii)对该列表进行重新排序。我们比较了使用BM25的经典IR方法与最近基于transformer的模型。

2023-08-25 11:36:32 33 1

原创论文阅读：万字长文解析transformer

主要的序列转导模型是基于复杂的循环或卷积神经网络，包括一个编码器和一个解码器。表现最好的模型还通过注意机制连接编码器和解码器。我们提出了一个新的简单的网络架构，变压器，完全基于注意力机制，完全摒弃递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。

2023-08-25 10:45:38 156 1

原创 datawhale第三期机器学习- 用户新增预测挑战赛教程任务三

要加入新的特征观察模型F1是否发生变化，首先需要知道原始的特征工程部分对应的模型评估指标，例如准确率、召回率、F1值等。假设模型评估指标是F1值，那么可以按照以下步骤进行：加入新的特征，可以选择与目标变量相关性较高的特征，或者通过领域知识选择与问题相关的特征。根据新的特征，修改数据处理和分析部分的代码以提取新特征。使用修改后的特征工程进行训练，并计算模型的F1值。比较加入新特征后的模型F1值与原始模型F1值，观察是否发生变化。

2023-08-24 16:48:51 55 1

原创 datawhale第三期机器学习- 用户新增预测挑战赛教程任务二

在这段代码中，我们首先根据字段的数据类型将其划分为数值型字段和类别型字段。然后，对于数值型字段，我们绘制了在标签分组下的箱线图。接下来，我们从common_ts中提取小时，并绘制了每小时下标签分布的变化。最后，我们对udmap进行了onehot编码，并统计了每个key对应的标签均值，并绘制了直方图。

2023-08-22 11:38:41 62 1

原创 datawhale第三期机器学习- 用户新增预测挑战赛教程任务一

除了 F1 分数，还有其他常用的分类模型评估指标，如准确率、召回率、精确度、ROC 曲线等，根据具体任务和需求选择适合的评估指标进行模型评估。需要注意的是，当特征变量 X 具有大量不同的离散取值时，One-Hot 编码可能会导致高维稀疏的特征表示，这可能会增加计算和存储的复杂性。在机器学习中，One-Hot 编码是一种常用的特征编码方法，可以将具有多个离散取值的特征转换为二进制向量表示。根据样本的特征值，沿着决策树的分支逐步向下，直到到达叶子节点，将叶子节点的类别作为预测结果。

2023-08-15 22:50:20 133 2

原创论文阅读：3年前沿的2020D医学图像分割方法：幸福的家庭都一样吗？

图像分割是医学图像分析中最重要和最流行的任务之一，在疾病诊断、手术计划和预后评估中起着至关重要的作用。在过去的五年中，一方面，针对不同医学图像中的各种器官和病变，人们提出了成千上万种医学图像分割方法，对不同方法进行公平比较变得越来越困难。另一方面，国际细分挑战可以提供一个透明的平台，公平地评估和比较不同的方法。在本文中，我们全面回顾了2020年10个3D医学图像分割挑战中的顶级方法，涵盖了各种任务和数据集。我们还发现了前沿分割方法中的“幸福家庭”实践，这对于开发强大的分割方法是有用的。

2023-08-15 17:03:39 194 1

原创 latex新手入门（数模论文手）

首先推荐大家看一下视频长度刚刚好，还有模板源码，非常nice，楼主也是看完之后，对照模板和一些优秀论文来创建自己的模板的过程中需要记录一些latex的笔记，所以有了这篇文章。

2023-08-14 19:22:05 603

原创机器学习中的常见困惑

查准率是指分类器正确预测为正例的样本数占所有被分类为正例的样本数的比例，而召回率是指分类器正确预测为正例的样本数占所有实际为正例的样本数的比例。总而言之，数据形状变换是数据预处理的一个重要步骤，它能够帮助我们满足模型的输入要求、改善特征表示、匹配数据维度，以及实现数据的可视化等目标。值得注意的是，TensorFlow 2.0及以后的版本已经引入了Eager Execution模式，支持类似动态图的操作方式，使得用户可以根据需要选择使用静态图或动态图的特性。选择搜索方法：选择一种搜索方法来遍历超参数空间。

2023-08-11 10:29:58 56 1

原创论文阅读：华佗:用中医知识调整LLaMA模型

大型语言模型(llms)，如LLaMA模型，已经证明了它们在各种通用领域自然语言处理(NLP)任务中的有效性。尽管如此，llms尚未在生物医学领域的任务中执行最佳，因为需要医学专业知识的响应。为了应对这一挑战，我们提出了HuaTuo(华驼)，这是一个基于llama的模型，它已经通过生成的QA(问答)实例进行了监督微调。实验结果表明，华托生成的响应具有更可靠的医学知识。ps：之后翻译中如果出现法学硕士，就是代指llms ，这个翻译器不太灵敏。

2023-08-10 20:48:54 612 1

原创论文阅读：gan网络

捕获数据分布的生成模型G和估计样本来自训练数据而不是G的概率的判别模型D。G的训练过程是最大化D犯错的概率。这个框架对应于一个极大极小的二人博弈。在任意函数G和D的空间中，存在一个唯一解，G恢复训练数据分布，D处处等于1/2。在G和D由多层感知器定义的情况下，整个系统可以通过反向传播进行训练。在训练或生成样本过程中，不需要任何马尔可夫链或展开近似推理网络。通过对生成的样本进行定性和定量评估，实验证明了该框架的潜力。

2023-08-07 15:43:53 222 1

原创论文阅读：ImageNet

我们训练了一个大型的深度卷积神经网络，将ImageNet LSVRC-2010竞赛中的120万张高分辨率图像分为1000个不同的类别。在测试数据上，我们实现了前1和前5的错误率分别为37.5%和17.0%，大大优于之前的先进技术。这个神经网络有6000万个参数和65万个神经元，由5个卷积层组成，其中一些是最大池化层，还有3个完全连接的层，最后是1000路softmax。为了使训练更快，我们使用了非饱和神经元和一个非常高效的GPU实现卷积操作。

2023-08-04 16:47:12 256 1

原创论文阅读：CPPE-5：医疗个人防护装备数据集

我们提出了一个新的具有挑战性的数据集，CPPE - 5(医疗个人防护设备)，其目标是允许对医疗个人防护设备的下属分类进行研究，这是其他流行的数据集(如PASCAL VOC, ImageNet, Microsoft COCO, OpenImages等)所不可能的。为了使在此数据集上训练的模型易于在复杂场景的实际场景中使用，我们的数据集主要包含显示复杂场景的图像，每个场景在其自然上下文中具有多个对象。

2023-08-01 16:40:47 328 2

原创经典论文：U-Net:生物医学图像分割的卷积网络

人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。

2023-07-28 16:20:48 201 1

weixin_73479446的博客