GPT-4、Llama3...大模型都有致命弱点!

自ChatGPT发布问世,学业界便进入大模型时代,随着训练推理的深入,大模型也逐渐暴露出幻觉问题,一些回复与事实知识不符,研究落地面临极大挑战,于是,围绕其产生原因、检测机制、缓解方法等,近年顶会激增了一批大模型幻觉工作,在数据、基准、解码等多个层面,攻克方法层出不穷!

5ba81449d2e8d456deae6412531d2e92.png

为了帮助大家综合掌握大模型幻觉,研梦非凡于8月21日晚(周三),邀请了从事多模态大模型研究的王导师,独家详解《大模型幻觉消失术:全面综述到顶会方法》(AI前沿直播课NO.62),主要涉及1篇华为的最新综述,以及1篇阿里&南洋理工CVPR'24收录工作,从LVLMs对象幻觉问题,再到产生原因、缓解办法,重点讲解顶会方法-视觉对比解码(VCD)核心原理,并具体演示代码,1节课速通!

扫描二维码找助教0元预约直播课!

64eec5c01326ad2e51492298e55e1850.png

凡预约即可免费领取200篇相关论文(20篇幻觉前沿+70篇多模态+120篇大模型+文末还有算力等科研福利!

ad5f2707e45596e24f86e88898cca1e6.gif

unsetunset直播课内容概览unsetunset

01 研究背景(最新综述)

  1. LVLMs的对象幻觉问题

  • 对象幻觉的概念和影响

  • 易受影响的场景和行业

  1. LVLMs面临的挑战

  • 根本性问题

  • 缓解问题的新方法VCD

  • VCD减少对象幻觉的原理

02 相关工作(最新综述)

  1. 多模态幻觉的含义

  2. 多模态幻觉产生的原因

  • 数据:数据量不足、数据质量问题、缺乏多样性

  • 视觉编码器:有限的视觉分辨率、细粒度视觉语义不足

  • 连接模块:简单结构、有限的标记约束

  • LLM:不足的上下文注意力、随机采样解码

  1. 缓解幻觉的方法

  • 数据优化

  • 视觉编码器增强

  • 连接模块改进

  • LLM的解码优化

  • 后处理方法

扫描二维码找助教0元预约直播课!

5bbe0b16815ac20f6f9b3526c3ac8fdd.png

03 VCD方法详解(CVPR'24)

  1. 视觉语言模型的解码

  2. 视觉不确定性加剧幻觉

  • 视觉不确定性会放大语言先验

  • 视觉不确定性会放大统计偏差

  1. 视觉对比解码(VCD)

  • 设计目的

  • 对比预测

  • 自适应合理性约束

04 实验分析(CVPR'24)

  1. 实验设置和结果

  2. 数据集基准:POPE & MME

05 代码实现(讲解重点)

  1. 核心代码讲解

  2. 具体演示

    ba77e22add381b6260a1aa92a26cd6cc.png

06 总结和展望

导师简介

王导师

【学术背景】985硕出身,拥有丰富的深度学习研究、论文发表经验,多篇SCI论文、EI会议论文(一作)

【研究方向】大语言模型、视觉语言模型、多模态学习,以及自然语言处理、进化算法等

直播福利

参加本次直播的同学都将获得1小时导师meeting的福利(助教+导师)!原价2999,限时福利价9.9元活动时间为8月21日到8月31日。

ps:研梦非凡开设的前沿论文系列直播,旨在帮助大家提升读论文技能,快速抓住重点,掌握有效方法,进而找到创新点,轻松完成论文报告。

扫描二维码找助教0元预约直播课!

11c011a4759a8bbf372f0756b5cad673.png

unsetunset研梦非凡科研论文指导unsetunset

如果你的研究方向/方法/idea是属于CV全方向/NLP全方向/机器学习/深度学习及AI+金融、医疗、交通等方向,如果你需要发CCF A-C、SCI一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等,都可以来研梦非凡,匹配合适的科研指导。

研梦非凡可指导的研究方向

31e04edd98e0cd5c378cfa9ad3271ec0.jpeg

主流方向科研论文常用方法

a8102928af9c40f9ac6553e67e1a8e4c.jpeg

研梦非凡现有idea

89c743646b90a17e41acccfa18d100e9.png

扫码找助教了解更多/验证自己的idea是否可行

02cb8483a2f9e4a165eb4774010efadb.png

unsetunset研梦非凡科研论文指导方案unsetunset

idea并不是直接拍脑门拍出来的,是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导,和研梦导师一起找idea,研梦导师指导实验,共同解决数据问题。授之以渔——搭建论文写作框架,增删改查,针对性实验指导!哪里薄弱补哪里!

793fa4846b1de2dc20501a74e2ff1c3f.jpegf29617bac098762e871e9cfa22e538ca.jpeg

<<< 左右滑动见更多 >>>

扫描二维码咨询助教两种指导方案

56bca1725d3f4a8cacece60e4ebc6024.png

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队,来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后,以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队,在计算机科学、机器学习、深度学习等领域,积累了丰富的科研经历,研究成果也发表在国际各大顶级会议和期刊上,在指导学员的过程中,全程秉持初心,坚持手把手个性化带教。包括但不限于以下导师~

e7dee0f6f0ee3fc4f450d69bb3ff7957.png7cb9a1a771256d2a503dee9691d3994d.png6c8fa389b5972327363728e97ddca443.png85b553be5a1de8e64f35bf586040c10c.png

<<< 左右滑动见更多 >>>

扫码加助教为你匹配合适课题的大牛导师

cd34ecd2345fd0b457a48de2c27d3249.png

unsetunset研梦非凡科研福利unsetunset

90分钟人工智能零基础入门课免费领

7小时科研论文写作系列课免费领

数十节前沿论文直播课程免费领

50小时3080GPU算力免费领

百篇8月论文资料大合集免费领

报名本次直播课,9.9元即可享受原价2999元的1小时导师meeting(助教+导师)! 

扫码领取以上6重粉丝专属科研福利!

689a56b06c8a1477115ae0d95065843c.png

da1b8b4af1f6ad09604472bf47e638a1.jpeg

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值