对比不同Layer输出，在解码阶段消除大模型幻觉

已于 2024-02-19 17:40:16 修改
阅读量363 收藏
点赞数 5
文章标签： AIGC 大模型 幻觉
于 2024-02-19 17:38:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chazhongxinbitc/article/details/136175408
版权
本文介绍了一种深度学习模型中减少幻觉现象的方法，通过比较最后一层的logit与其他层的结果，选择最不相似的分布进行融合，以此来改进模型的性能。这种方法通过简单的对比策略调整logit值，有助于提高模型的稳定性和准确性。
摘要由CSDN通过智能技术生成

实现方式

对比最后一层出来的logit，和前面Layer出来的logit，消除差异过大的分布，从而降低幻觉：

  1. 最后一层Layer出来的logit容易的得到；

  2. 选择与最后一层的logit最不相似的分布的那层结果

实现原理

也是很简单的对比方式，最终的logit由最后一层的Layer输出的logit，减去前期选择的层的logit，

得到最终的logit

地址

https://arxiv.org/pdf/2309.03883.pdf

wendaJ
关注
  • 5
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解决layer弹出层自适应页面大小的问题
10-16
然而，在实际应用中，尤其是在处理不同屏幕尺寸的设备时，如何使layer弹出层自适应页面大小成为了一个常见的挑战。本文将深入探讨这个问题，并提供一种解决策略。 首先，问题的核心在于，当layer弹出层的面积设定为...
keras 模型参数,模型保存,中间结果输出操作
09-16
本教程将详细解释 Keras 中涉及的几个关键概念：模型参数、模型保存以及中间结果的输出操作。 首先，我们来看模型参数。在 Keras 中，模型参数主要指神经网络层的权重和偏置。这些参数在训练过程中通过反向传播算法...
libmad库，支持MPEG-1(Layer Ⅰ,Layer Ⅱ和Layer Ⅲ)解码
01-19
MPEG-1音频标准是为视频和音频数据的压缩制定的，它由三个不同的层（Layer Ⅰ, Layer Ⅱ, 和 Layer Ⅲ）组成，每个层都提供了不同程度的压缩比率和音质。Layer Ⅲ，即MP3，是最常用的音频编码格式，以其高质量的...
pytorch 中LSTM模型获取最后一层的输出结果，单向或双向
01-06
单向LSTM import torch.nn as nn ...number_layer = 3 input = torch.randint(low=0,high=256,size=[batch_size,seq_len]) #[64,20] embedding = nn.Embedding(num_embeddings,embedding_dim) input_embeded = embeddin
MPEG-Layer.rar_FreeAmp _MP3解码_player
09-21
MP3解码演示,本程序演示了MPEG-Layer 3 (MP3)格式的文件是如何被诸如WinAmp和Windows Media Player这样的程序读出来的。请注意，该代码没有调用Windows API，DLL或者OCX。该源代码阅读和播放MP3文件，没有包含例子，...
2024 AIGC 技术创新应用研讨会暨数字造型设计师高级研修班通知
souvr007的博客
07-03 347
为深入响应国家关于教育综合改革的战略部署，深化职业教育、高等教育改革，发挥企业主体重要作用，促进人才培养供给侧和产业需求侧结构要素全方位融合，充分把握人工智能创意式生成(AIGC)技术在教育领域的发展机遇，推进院校AIGC相关专业的发展与双师队伍建设,培养高素质创新人才和技术技能人才,协助高校完善AIGC相关专业学科建设，为此爱迪斯通科技将于2024年8月2日至4日在北京举办“AIGO技术教育教学创新应用研讨会暨数字造型设计师高级研修班” 共同探讨虚拟现实技术在教育、工业、娱乐、工程等领域的应用与发展。
「AIGC」大数据开发语言Scala入门
AIGC大前端小王子
07-02 546
Scala 是一种多范式编程语言，设计初衷是集成面向对象编程和函数式编程的特点。它运行在 Java 虚拟机（JVM）上，因此可以与 Java 库无缝集成。Scala 也因其在大数据处理领域的应用而受到欢迎，特别是与 Apache Spark 这类框架结合使用。
AIGC学习笔记—LLM（前言）
m0_56569131的博客
07-08 384
大语言模型本身我不是很了解，但是掌握一些基础的知识点，由于要准备某个公司的二面，所以浅学一下这个技术，也是边摸索边学习......首先，我先简单的解释一下大模型，大模型是指具有大规模参数和复杂计算结构的机器学习模型，通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。其设计目的是提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。
AIGC在软件开发中的崛起：赋能开发者还是重塑职业版图？
最新发布
LUSIYUANGASTER的博客
07-08 230
在科技日新月异的今天，生成式人工智能（AIGC, Artificial Intelligence Generated Content）正以前所未有的速度渗透至各行各业，其中，软件开发领域尤为显著。从基础的代码自动补全到复杂的系统架构设计，AIGC技术正逐步成为开发者手中的“魔法棒”，极大地改变了传统的工作方式。然而，这一变革也引发了广泛的讨论：AIGC究竟是在帮助开发者提升效率与质量，还是预示着对开发者职业的潜在威胁？
AIGC | 在机器学习工作站安装NVIDIA CUDA® 并行计算平台和编程模型
WeiyiGeek 唯一极客IT知识分享
07-05 1076
[知识是人生的灯塔，只有不断学习，才能照亮前行的道路]0x02.初识与安装 CUDA 并行计算平台和编程模型什么是 CUDA?CUDA（Compute Unified Device Architecture）是英伟达（NVIDIA）推出的并行计算平台和编程模型。它允许开发者利用 NVIDIA GPU 的并行计算能力进行通用计算任务，而不仅限于图形处理。CUDA 提供了一个统一的编程接口和软件环...
【AIGC】DiffuToon:稳定的视频卡通化技术方案
qq_44091004的博客
07-03 313
diffutoon稳定的视频卡通化技术方案
【AIGC自动化编程技巧笔记】一、起步
lyh13239510484的博客
07-03 497
本专栏参考了CSDN高级讲师李宁的《AIGC自动化编程技巧》，是学习过程中记录的笔记。
AIGC文生图lora微调训练案例；SD-Train界面训练stable Diffusion lora模型
weixin_42357472的博客
07-03 710
lora仓库（1000多个lora微调模型分享）：参考：tab=readme-ov-file （微调脚本基本也是上面官方diffusers的例子）训练时间有点久，200轮。
AIGC笔记--Stable Diffusion源码剖析之DDIM
牵一只蜗牛去散步
07-04 305
以论文《High-Resolution Image Synthesis with Latent Diffusion Models》 开源的。以文生图为例，剖析SD中DDIM的核心组成模块。本质上SD的DDIM遵循论文。为例，剖析Stable Diffusion经典组成部分，巩固学习加深印象。
AIGC对设计行业的影响与启发：AIGC设计能替代真正的设计师吗？
IT胶囊
07-03 968
随着科技的飞速发展，人工智能生成内容（AIGC）技术在设计行业的应用日益广泛，引发了广泛的讨论和关注。AIGC以其高效、多样化的生成能力，为设计行业带来了前所未有的变革。然而，关于AIGC是否能替代真正的设计师，这一话题至今仍存争议。本文将从多个维度，深入探讨这一话题。
「PAI-ArtLab100 AIGC」设计普惠计划发布！与 100+ 高校共同探索 AIGC 教育新路径
科技很有意思
07-03 280
阿里云高校合作部、阿里云人工智能平台PAI，以及阿里云设计中心联合发布「ArtLab100 AIGC设计普惠计划」（简称ArtLab100计划），与 100+ 高校共同探索 AIGC 教育新路径。
AIGC为设计师解决了什么问题？
IT胶囊
07-04 273
作为Adobe公司CEO签发的全球权威国际认证体系，它不仅为设计师提供了衡量自己技能水平的标准，还为他们提供了展示专业能力的平台。每个人的创意都是有限的，而AIGC工具通过机器学习和大数据分析，能够融合多种设计风格和元素，为设计师提供前所未有的创意灵感。这种跨界融合的设计思路，往往能打破传统设计的束缚，帮助设计师创造出更具创新性和吸引力的作品。幸运的是，随着生成式人工智能（AIGC）的兴起，设计师们找到了一种全新的解决方案，这不仅改变了他们的工作方式，还显著提升了设计效率和质量。
生成式人工智能（AIGC）：改变软件开发的未来
学IT，找陈寒
07-05 1163
例如，Google的DeepMind团队开发的AI系统可以自动生成高质量的单元测试，提高了软件测试的效率和覆盖率。其次，AI的应用可能导致一些低技能岗位的流失，开发者需要不断学习和提升自己的技能，以适应新的技术环境。通过自动生成代码和提供智能建议，开发者可以将更多的时间和精力投入到复杂的逻辑设计和系统架构中，而不是重复性和机械性的编码工作。通过与AI工具的交互，开发者可以不断学习新的编程技巧和最佳实践，提升自身的技术水平。此外，AI工具可以根据开发者的编程习惯和风格，提供个性化的建议，帮助开发者不断进步。
AIGC的行业发展
m0_72958694的博客
07-07 831
本文简要介绍了AIGC的行业发展，并给出了具体的案例示例。
怎么输出模型的大小和参数量
05-25
要输出模型的大小和参数量，可以使用 PyTorch 中的 `summary` 函数。下面是一个简单的示例： ```python import torch from torchsummary import summary from transformers import GPT2Model, GPT2Tokenizer # ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值