论文略读：Not all Layers of LLMs are Necessary during Inference

最新推荐文章于 2024-12-28 11:15:02 发布
最新推荐文章于 2024-12-28 11:15:02 发布
阅读量261 收藏
点赞数 1
分类专栏： 论文笔记 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/143256547
版权

202404 

  • LLMs的推理阶段非常昂贵
    • 目前实现LLM高效推理的流行方法包括模型剪枝和稀疏模型
      • 但这些方法可能会改变LLM参数，从而冒险损害其泛化能力。
    • 这篇论文动态减少激活神经元的数量以加速LLM推理
      • 根据输入实例动态决定推理终止时刻
一文读懂LLM的「幻觉」问题
女王の专属领地
01-05 2590
1、幻觉定义大模型生成看似合理的内容，其实这些内容是不正确的或者是与输入Prompt无关，甚至是有冲突的现象，即生成与用户输入不符、与先前生成的内容矛盾或与已知世界知识不符的内容。2、幻觉类型输入冲突幻觉Input-conflicting：生成的内容与用户提供的输入不符；输入冲突幻觉指的是LLM生成的内容与用户提供的源输入（①任务指示：例如用户对摘要的提示和②任务输入：例如需要摘要的文档）不一致。当LLM生成的内容偏离用户的输入时，就会出现这种幻觉。
【图像去噪】论文精读：MemNet: A Persistent Memory Network for Image Restoration
畅游计算机视觉的海洋
08-22 767
论文题目：MemNet: A Persistent Memory Network for Image Restoration —— MemNet：用于图像恢复的持久记忆网络ICCV 2017！延长记忆网络MemNet！DRRN相同团队出品！最近，非常深的卷积神经网络 (CNN) 在图像恢复中引起了相当大的关注。然而，随着深度的增长，这些非常深的模型很少实现长期依赖问题，这导致先验状态/层对后续状态几乎没有影响。
论文略读：LoRA+: Efficient Low Rank Adaptation of Large Models
qq_40206371的博客
11-01 285
ICML 2024从理论分析了LoRA最优解必然是右矩阵的学习率大于左矩阵的学习率（数量级差距是O(n)）
论文略读：When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric
qq_40206371的博客
10-29 213
一个主要的结论：对于语言模型来说，当问题需要的知识是高频率的热门知识时，检索增强反而会降低模型的性能。——>论文提出只对问到长尾的知识的问题进行检索。
论文略读：The Power of Noise: Redefining Retrieval for RAG Systems
qq_40206371的博客
10-26 349
省流：在RAG中，噪声文档不仅没有对系统性能造成负面影响，反而能够显著提高系统的准确性。
论文略读：Benign Oscillation of Stochastic Gradient Descent with Large Learning Rate
qq_40206371的博客
04-15 232
iclr 2024 reviewer评分 368。
论文略读：MathBench: Evaluating the Theory and Application Proficiency of LLMswith a Hierarchical Mathem
qq_40206371的博客
10-26 159
数学benchmark，涵盖从小学、初中、高中、大学不同难度，从基础算术题到高阶微积分、统计学、概率论等丰富类别的数学题目。
论文略读：FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph （PKDD2023)
qq_40206371的博客
10-21 344
这是首次完成城市级别的细粒度交通预测。
论文略读：Onthe Expressivity Role of LayerNorm in Transformers’ Attention
qq_40206371的博客
06-10 232
ACL 2023。
论文略读：OpenGraph: Towards Open Graph Foundation Models
qq_40206371的博客
04-23 501
arxiv 2023。
略读或渗透：在具有战略意义的消费者面前，新时尚产品的最优定价
03-12
这篇名为“略读或渗透：在具有战略意义的消费者面前，新时尚产品的最优定价”的研究论文，由Peng Du和Qiushuang Chen共同撰写，探讨了在这种情况下如何制定最优的新产品定价策略。 文章首先构建了一个简化的模型，...
略读或渗透：在战略客户在场的情况下，新时尚产品的最优定价
04-08
略读或渗透：在战略客户在场的情况下，新时尚产品的最优定价
文献略读：Frontier-Based 相关
m0_46167617的博客
09-14 1046
文献略读：Frontier Based 相关 A Frontier-Based Approach for Autonomous Exploration 该论文第一次提出了frontier-based方法 frontier：已知空间和未探索空间的分解区域 核心思想：To gain the most new information about the world, move to the boundary between open space and uncharted territory. 地图采用evid
pyQT + OpenCV小练习
最新发布
h1413517383的博客
12-28 428
锐化——使用cv2.Laplacian()、cv2.Sobel()实现。当用户点击下拉列表选项时，相应地更新窗口中显示的图像。提供一个按钮，当用户点击按钮时，能保存调整后的图像。模糊——使用cv2.GaussianBlur()实现。cv2.warpAffine（对图像进行放射变换）当用户点击按钮时，相应地更新窗口中显示的图像。边缘检测——使用cv2.Canny()实现。cv2.cvtColor（转换为灰度图）在 PyQt 的窗口中显示这张图像。在 PyQt 的窗口中显示这张图像。
AI Glass 明年会火，为 AIR 形态预热
【CSDN】
12-26 1097
AI Glass 明年会火，为 AIR 形态预热【AI×AR=AIR】。
【MySQL】细致入微讲解篇：深度学习与探索数据库索引
m0_66360096的博客
12-27 681
*前言:**本节内容主要讲解索引的下半部分。注意： 索引是很重要的知识点。务必学习！！本节将会主要索引的本质B+树， 以及为什么选择B+和操作索引。下面友友们开始学习吧！
PyTorch实战|运动鞋识别
weixin_52390875的博客
12-27 587
数据收集确定数据来源：明确数据是来自数据库、文件系统、网络爬虫、传感器等。例如，在构建一个图像识别模型时，数据可能来源于互联网上的公开图像数据集，像 CIFAR - 10（由 10 个不同类别的 60000 张 32x32 彩色图像组成）；或者是通过专门的图像采集设备获取。获取相关数据：按照预先确定的来源渠道，收集足够数量的数据。对于文本分类任务，可能需要从新闻网站、学术论文库等地方收集文本内容，并标注好类别，如财经新闻、科技新闻等。数据清理处理缺失值识别数据集中哪些属性存在缺失值。
微软 CEO 萨提亚・纳德拉：回顾过去十年，展望 AI 时代的战略布局
ainnle的专栏
12-25 778
微软 CEO 萨提亚・纳德拉与著名投资人比尔・格里和布拉德・格斯特纳进行了一场深度对话，回顾了过去十年微软的转型历程，并展望了 AI 时代的战略布局。
提升阅读与撰写技巧：有效应对英文论文
在《浅谈如何有效阅读与撰写英文论文》这份PPT中，作者针对电子信息工程学院学生在2020年6月8日遇到的问题，提供了一份实用的指南。主要内容围绕如何提升阅读英文论文的能力以及论文写作的策略。首先，作者认识到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>