论文略读：MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

最新推荐文章于 2024-12-27 16:28:22 发布
最新推荐文章于 2024-12-27 16:28:22 发布
阅读量212 收藏 4
点赞数 9
分类专栏： 论文笔记 文章标签： 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/143250103
版权

202404 arxiv

LoRA的改进

1 Lora的问题

过低的秩会严重限制模型学习和记忆新知识的能力，尤其在需要获取大量领域知识的任务上

2 mora

  • MoRA的关键在于使用方阵M取代LoRA的低秩矩阵A和B，以提升rank
    • 假设原权重矩阵W的维度为d×k
      • Lora的参数量为(d+k)r，rank为r
      • 相同参数量下，MoRA的rank为\sqrt{(d+k)r}

  • 至于压缩算子，论文给出了多种方法

    • 截断：直接截取部分维度

    • 共享：维度合并，共享同一个方阵M的值

    • 解耦：将输入reshape为矩阵，然后与M做矩阵乘法

    • 旋转：在解耦的基础上引入旋转矩阵，增强表达能力

3 结果

单细胞论文记录(part6)--SpaGE: Spatial Gene Enhancement using scRNA-seq
小山羊的学习日志
05-27 369
学习笔记，仅供参考，有错必纠 阅读状态：略读 文章目录SpaGE: Spatial Gene Enhancement using scRNA-seqABSTRACTINTRODUCTIONMATERIALS AND METHODSSpaGE algorithmDatasets SpaGE: Spatial Gene Enhancement using scRNA-seq ABSTRACT Single-cell technologies are emerging fast due to their ab
文献略读：Frontier-Based 相关
m0_46167617的博客
09-14 1046
文献略读：Frontier Based 相关 A Frontier-Based Approach for Autonomous Exploration 该论文第一次提出了frontier-based方法 frontier：已知空间和未探索空间的分解区域 核心思想：To gain the most new information about the world, move to the boundary between open space and uncharted territory. 地图采用evid
论文略读：GRAG:GraphRetrieval-Augmented Generation
qq_40206371的博客
11-08 282
202404 arxiv
论文略读：Graph Neural Processes for Spatio-Temporal Extrapolation
qq_40206371的博客
10-20 503
2023 KDD。
论文略读：FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph （PKDD2023)
qq_40206371的博客
10-21 344
这是首次完成城市级别的细粒度交通预测。
论文略读：LoRA+: Efficient Low Rank Adaptation of Large Models
qq_40206371的博客
11-01 285
ICML 2024从理论分析了LoRA最优解必然是右矩阵的学习率大于左矩阵的学习率（数量级差距是O(n)）
论文略读：Self-Knowledge Guided Retrieval Augmentation for Large Language Models
qq_40206371的博客
11-03 362
2023 emnlp findings
论文略读：Less is More: on the Over-Globalizing Problem in Graph Transformers
qq_40206371的博客
10-27 210
2024 ICML。
论文略读： Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probab
qq_40206371的博客
10-25 152
ICLR 2024。
论文略读：Can We Edit Factual Knowledge by In-Context Learning?
qq_40206371的博客
10-28 331
EMNLP 2023。
语义通信论文略读（六）Variational Source-Channel Coding for Semantic Communication
qq_54192524的博客
11-10 621
2. 语义通信技术的兴起： 语义通信技术作为连接AI与经典通信的关键桥梁，其系统通常采用自动编码器（AE）模型，但AE缺乏AI原理与通信策略的深度整合，难以解释联合源信道编码（JSCC）的必要性和性能提升的原因。3. 变分源信道编码（VSCC）方法的提出： 基于数据失真理论，结合变分推断和信道特性，提出VSCC方法构建语义通信系统，使用深度学习网络开发基于VSCC方法的语义通信系统，并展示其语义传输能力。2. JSCC的必要性分析： 由于语义通信涉及数据失真，JSCC成为实现最优语义通信的必要策略。
【部编】六年级语文下册：快乐读书吧--统编新教材,教师专用课件1-2020春.pdf
09-12
学习扫读和略读，快速捕捉关键信息；以及深度阅读，理解文本深层含义，进行批判性思考。教师还会教导学生如何做阅读笔记，记录读书过程中的感悟和疑问，提升阅读的反思性。 二、经典作品的鉴赏 该教材精心挑选了多...
RAPPOR: Randomized Aggregatable Privacy-PreservingOrdinal Response略读
MewGul的博客
07-29 4322
RAPPOR 算法基础 用户将数据进行扰动后发送给收集者，在进行后续的各种操作 首先将字符串通过布隆过滤器用h个哈希函数进行处理（这里用了4个，所欲B有4位置1），得到B，随后将B通过随机响应函数获得永久随机响应B’,将永远存储在用户的设备中。每当数据收集者请求数据时，客户机对B’再次进行扰动获得临时随即响应S，S将发送给收集者（每次询问同一数据获得的响应都不完全相同） 永久随机响应的规则 f是用户可调的一个概率，来控制隐私水平。例图中中f=0.5（f越大越随机） 临时随机响应 获得B’后对其进行随机响
A2J：Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation 。。。略读与实践
AlgoMonster的博客
07-14 1697
《A2J: Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation from a Single Depth Image 》略读与实践 这篇是2019hand pose 挑战赛获得第一的作品（好可惜自己没去），据说是第一篇利用目标检测的anchor机制来回归手部关键点坐标的。作者认为anchor points 能够针对局部坐标回归能够捕获全局和局部空间信息。 代码开源地址：https://github.com/zhangbos
手撕算法-严刑拷打
最新发布
myprogramc的博客
12-27 506
给定 m 台“相同”机器（或工作线程、工人等），以及 n 个“任务”或“工作”，每个任务都有一个执行时间。
力扣658. 找到 K 个最接近的元素
m0_57879843的博客
12-25 366
给定一个排序好的数组arr，两个整数k和x，从数组中找到最靠近x（两数之差最小）的k个数。返回的结果必须要是按升序排好的。 整数a比整数b更接近x需要满足： |a - x| < |b - x|或者 |a - x| == |b - x|且a < b
单词接龙,
black_blank的博客
12-26 406
单词接龙是一个与我们经常玩的成语接龙相类似的游戏。现在我们已知一组单词，且给定一个开头的字母，要求出以这个字母开头的最长的“龙”，每个单词最多被使用两次。在两个单词相连时，其重合部分合为一部分，例如 beast 和 astonish ，如果接成一条龙则变为 beastonish。我们可以任意选择重合部分的长度，但其长度必须大于等于1，且严格小于两个串的长度，例如 at 和 atide 间不能相连。
【唐叔学算法】第18天：解密选择排序的双重魅力-直接选择排序与堆排序的Java实现及性能剖析
Tang_is_learning的博客
12-22 626
通过上述讲解，我们可以看出直接选择排序和堆排序虽然都属于选择排序，但它们有着显著的不同之处。前者更易于理解和实现，但在处理大数据量时效率较低；后者则具有更好的性能表现，特别是在需要频繁访问最大或最小值的应用场景下。希望这篇文章能为你揭开选择排序的神秘面纱，并为你的编程之旅增添一份力量。
105. 从前序与中序遍历序列构造二叉树(java)重点标记
qq_45452617的博客
12-24 460
给定两个整数数组preorder和inorder，其中preorder是二叉树的inorder是同一棵树的，请构造二叉树并返回其根节点。[-1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>