论文阅读
文章平均质量分 95
论文阅读笔记
卖报的大地主
书山有路勤为径,学海无涯苦作舟
展开
-
【细说fine-tuning】LoRA:低秩自适应策略(附官方代码与教程)
目前诸如GPT、Llama等大型AI模型通常具有非常大的参数量,要想将其迁移到具体的下游场景任务中,利用重头训练的全局微调变得十分昂贵,对于普通研究者明显不现实,为此Microsoft提出了一种低消耗的大模型微调方法—LoRA(Low-Rank Adaptation)。$LoRA$基于适配器的思想,通过调整学习外部模块来对下游特定任务进行知识泛化,并通过可学习的秩分解矩阵设计降低模型微调与存储的开销问题。原创 2024-04-27 16:37:08 · 918 阅读 · 1 评论 -
【论文笔记】基于预训练模型的持续学习(Continual Learning)(增量学习,Incremental Learning)
持续学习(Continual Learning, CL)旨在使模型在学习新知识的同时能够保留原来的知识信息了,然而现实任务中,模型并不能很好地保留原始信息,这也就是常说的灾害性遗忘(Catastrophic forgetting)问题。传统的CL方法需要从头开始训练模型(从随机初始化参数开始训练),目前基于大规模数据训练得到的预训练模型为持续学习带来了新的研究思路,预训练模型鲁棒的泛化性给予新任务学习较为成熟的参数,也因此基于预训练模型的CL方法已逐渐成为研究热点。原创 2024-04-21 22:42:52 · 1254 阅读 · 1 评论 -
【遥感变化检测综述】—《多时相遥感影像的变化检测研究现状与展望》
本文主要从几何和语义两个角度对变化检测方法进行了分析和归纳总结,重点分析了几何信息的利用方式及深度神经网络的特征融合方式,随后总结了常用的变化检测公开样本数据集,最后对当前变化检测应用中遇到的核心问题及未来发展趋势进行了梳理与展望。原创 2023-09-12 14:27:59 · 1521 阅读 · 0 评论 -
一文看遍半监督学习模型(Semi-Supervised Learning)
一个模型对于同一个未标记图像,在图像添加额外噪声前后的预测值应该保持一致。添加噪声的方法,如图像增强(空间维度增强、像素维度增强)。同样,Dropout可在模型结构中引入噪声。原创 2023-09-02 14:53:08 · 4271 阅读 · 0 评论 -
生成式AI系列——什么是生成对抗模型(GAN)?
生成对抗网络(GAN, Generative adversarial network)自从2014年被Ian Goodfellow提出以来,掀起来了一股研究热潮。GAN由生成器和判别器组成,生成器负责生成样本,判别器负责判断生成器生成的样本是否为真。生成器要尽可能迷惑判别器,而判别器要尽可能区分生成器生成的样本和真实样本。转载 2023-08-17 21:49:40 · 779 阅读 · 2 评论 -
【人工智能前沿弄潮】——生成式AI系列:扩散模型及稳定扩散模型
与GAN 利用生成器和判别器进行对抗训练来生成图像不同,扩散模型则是通过对生成的随机噪声进行循环去噪来生成图像,就有点像雕刻一样,一块原石,随着大师一点一点地去除掉多余的部分,剩下的就是完美的艺术品。所使用的随机噪声需要和生成的目标图像具有相同的高宽。在扩散模型的去噪过程中,去噪的步骤数(step)是人工提前定好的,如1000等。这个step不仅是步骤数,也代表着噪声的严重程度信息。并且每次去噪所的Denoise 模块是同一个,进行反复使用。原创 2023-08-11 00:53:13 · 1102 阅读 · 0 评论 -
【目标检测——YOLO系列】YOLOv1 —《You Only Look Once: Unified, Real-Time Object Detection》
YOLOv1是一种**end to end**目标检测算法,由Joseph Redmon等人于2015年提出。它是一种基于单个神经网络的实时目标检测算法。YOLOv1的中文名称是"你只看一次",这个名字源于算法的工作原理。相比于传统的目标检测算法,YOLOv1采用了全新的思路。**它将目标检测问题转化为一个回归问题,并将整个图像作为输入,一次性地在图像上进行目标检测和定位(单阶段检测模型这与传统的滑动窗口或区域提议方法不同,传统方法如RCNN系列(两阶段检测模型)**需要在图像上进行多次检测。原创 2023-06-05 17:10:31 · 1636 阅读 · 2 评论 -
【论文阅读】ConNeXt —— A ConvNet for the 2020s
神经网络学习过程的本质就是为了学习数据分布,如果我们没有做归一化处理,那么每一批次训练数据的分布不一样,从大的方向上看,神经网络则需要在这多个分布中找到平衡点,从小的方向上看,由于每层网络输入数据分布在不断变化,这也会导致每层网络在找平衡点,显然,神经网络就很难收敛了。当然,如果我们只是对输入的数据进行归一化处理(比如将输入的图像除以255,将其归到0到1之间),只能保证输入层数据分布是一样的,并不能保证每层网络输入数据分布是一样的,所以也需要在神经网络的中间层加入归一化处理。原创 2023-03-07 18:23:39 · 279 阅读 · 2 评论