图解强化学习

于 2020-02-26 20:59:00 发布
阅读量651 收藏 2
点赞数
原文链接：https://mp.weixin.qq.com/s/3uEQFWjM2lsGBoYffPaS0w
版权

小夕寄语

最近五年，是强化学习（Reinforcement Learning, RL）爆发的时期。RL是机器学习大家族中的一大类, 使用强化学习能够让机器学着如何在环境中拿到高分, 表现出优秀的成绩. 而这些成绩背后却是他所付出的辛苦劳动, 不断的试错, 不断地尝试, 累积经验, 学习经验.

下面通过一只小狐狸的吃鸡之旅，来一起来了解强化学习的妙用吧~

夕小瑶
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
上交&阿里：掀开多模态大模型的头盖骨，解密黑盒模型推理过程
07-06 435
本文运用Grad-CAM方法对MLLMs的复杂推理过程进行了逐层可视化研究，深入探究了图像与用户提示之间的交互和信息流动，得出了一些有趣的结论：如LLaVA1.5和Qwen-vl等模型中，浅层图像Token的信息流存在明显冗余。以下图为例，研究与答案Token（如（B）蘑菇）对应的图像Token，关注模型的最后一层（即最后层归一化后的特征）进行梯度反向传播，捕捉决策机制的精细动态，并可视化模型在预测答案选项（如A、B、C、D）时依赖的图像区域。下图展示了在多模态大模型不同层中token信息流的注意力得分。
博客
参数更新量仅为LoRA的5%，性能不减反升！南加大提出高效精调法LaMDA
07-06 450
在XSUM数据集上，与LoRA相比，LaMDA在ROUGE-1、ROUGE-2和ROUGE-L指标上取得了相似或略低的分数，但参数数量大幅减少，而LaMDA++则以对比LaMDA少量的参数代价超过了LoRA的效果。LaMDA在这些任务上的平均准确率超过了LoRA，同时微调的参数数量大约是LoRA的11.5倍。在LaMDA++的实现中，首先定义了一个秩预算集合Rs，其中包含了可能的秩候选值，并且𝑟1<𝑟2<...<𝑟𝑆，LaMDA++的目标是将这些秩分配给不同的层，使得所有层的秩之和等于目标秩𝑟𝑇。
博客
又一家技术+产品双杀的大模型创业公司！一款测试，让其WAIC大会展位火爆
07-06 402
值得一提的事，这个名为「AI+大闹天宫」的AI互动测试背后是一家一直很低调的AI公司，叫“阶跃星辰”，这次的测试是为了庆祝《大闹天宫》动画片制作60周年而与上影联手打造的。可以说，没有理解+生成的大一统，或视觉能力与语言能力割裂，那注定AI仍然只能是一个大号的专用模型，而无法成为一个真正的解放社会生产力的科技新时代变革点。多模态大模型，是通向 AGI 的必经之路。这次合作不仅是对这部国民动画片的一次致敬，与创意内容结合的一次落地，在这个展现了强势的多模态能力的AI互动测试背后，是阶跃星辰自研的。
博客
强强联合！当RAG遇到长上下文，滑铁卢大学发布LongRAG，效果领先GPT-4 Turbo 50%
07-04 417
LongRAG框架的核心优势在于:"长上下文检索器"就像带着重点笔记进考场,能快速定位相关信息，"长阅读器"则像学霸,能准确从长文本中提取关键答案。两者配合,让AI在回答复杂问题时更高效准确。虽然LongRAG表现不错,但仍有提升空间:检索器处理超长文本的能力可以进一步增强。阅读器对长文本的理解还需优化。总的来说,LongRAG为AI问答系统开辟了新方向。随着技术进步,它有望在处理复杂问题方面发挥更大作用。
博客
复旦大学：一个小技巧探测大模型的知识边界，有效消除幻觉
07-03 974
罗翔说过，人需要承认自己的有限性，人这一生就是在走出偏见。人类的成长过程就是不断认清自己的边界和消除偏见的过程，大模型的成长亦是如此。
博客
赢麻了！苹果再获OpenAI董事会观察员席位！0元白嫖ChatGPT，比肩微软
07-03 411
今年，苹果和OpenAI的合作有点密切。据最新消息，苹果获得OpenAI的董事会观察员席位。苹果应用商店负责人、前营销主管菲尔·席勒（Phil Schiller）将担任这一职位，但Schiller迄今为止尚未出席任何OpenAI的会议。观察员是个什么身份呢，权利有哪些呢？董事会观察员是一种非正式的董事会职位，观察员可以参加董事会会议，但不能投票，也无法行使董事通常拥有的其他权力。不过，观察员可以深入了解公司的决策过程。
博客
GPT-4预测股票涨跌更更更准了！东京大学新框架LLMFactor提升显著 ｜ ACL 2024
07-03 490
考虑某股票的历史价格序列，其中表示时间窗口的大小。预测股票走势的任务被公式化为一个二元分类问题，其中股票价格序列被转换为一系列股票走势，在这个序列中，表示股票价格从到的上升，而表示下降。本文的任务目标是对于目标股票，在给定目标预测日期，相关新闻和的情况下，预测其，即预测特定股票在未来某一时间点的价格走势。
博客
谷歌重磅：告别RAG，长上下文的大语言模型无需检索增强
07-02 1012
长上下文语言模型通过LOFT基准测试，展现出无需检索增强（RAG）的强大能力。这些模型在多项任务中表现卓越，特别是信息检索，预示AI应用可能告别RAG，迎来简化统一的新时代。尽管在处理超长上下文和复杂推理时仍面临挑战，但这一突破标志着向更强大的长上下文模型迈进了重要一步。未来研究可能会聚焦于改进超长上下文处理技术、增强结构化推理能力、优化提示策略，以及探索与专门系统的结合。LOFT为这些研究方向提供了重要的评估工具。随着技术的不断进步，有望出现更加强大和灵活的AI系统，为各个领域带来革新性的变化。
博客
Andrej Karpathy提出未来计算机2.0构想： 完全由神经网络驱动！网友炸锅了
07-02 790
昨天凌晨，知名人工智能专家、OpenAI的联合创始人Andrej Karpathy提出了一个革命性的未来计算机的构想：完全由神经网络驱动的计算机，不再依赖传统的软件代码。嗯，这是什么意思？全部原生LLM+硬件设备的意思吗？这一概念的提出，引发了网友广泛的讨论和巨大关注，奶茶觉得这个设想看上去会不会太宏观而且不切实际，于是查看了Karpathy 在帖子下的回复，试图找到支撑性的证据：▲图源@小互。
博客
上交举办“大模型奥林匹克竞赛”，GPT-4o仅得39分
07-02 581
大模型的奥林匹克竞赛来了！最近，上交构建了一个全面、极具挑战性的奥赛级别的基准——OlympicArena，从来自62个不同奥林匹克竞赛中筛选出11,163个问题，涵盖数学、物理、化学、生物、地理、天文学和计算机科学等七个学科，细分为34个专业领域。除了8类逻辑推理任务外，还有5类视觉推理能力，分为13种答案类型（如表达式、区间）。奥林匹克竞赛，作为选拔拔尖青少年人才的竞赛，其难度与挑战性不言而喻。在奥赛中获得优异成绩的同学可以获得保送名牌大学和参加自主招生考试的资格。
博客
甲骨文首次将LLMs引入数据库，集成Llama 3和Mistral，和数据库高效对话
07-01 870
信息时代，数据为王。数据库作为数据存储&管理的一种方式，正在以势不可挡的趋势与AI结合。前有OpenAI 收购了数据库初创公司 Rockset，引发广泛关注；Oracle公司（甲骨文）作为全球最大的信息管理软件及服务供应商，近日发布新产品HeatWave GenAI，这是首次在数据库中引入LLMs，数据库也将迎来AI化管理。当你依托于数据库存储，管理数据，是否因为复杂的SQL语句望而却步，HeatWave GenAI通过，实现自然语言对话大模型完成数据操作；
博客
文心一言用户达3亿！文心大模型4.0 Turbo发布，支持API，真GPT-4 Turbo国产来了！
06-29 1239
从笔者的视角来看，百度显然是在AI生态中构建护城河最深的玩家，从自研的深度学习框架、海量多样的互联网数据积累到深厚的AI算法和工程积累，加之搜索引擎从诞生那一天起就在为理解和满足国内数亿网民的需求而持续迭代，因此文心一言成为国内最早破圈到如今如此大体量用户的AI应用，也就很好理解了。而拆开来看的，一方面数据决定模型的效果上限，数据的规模和质量同步提升是一定的，在此基础上，SFT、RLHF等大模型训练策略也在持续调优，这些是比较常规的优化。需要强调的是，文心一言的用户规模是在去年12月破亿的。
博客
奥特曼个人投资引纠纷，手持400多家公司28亿美元，部分投资与OpenAI有利益冲突！
06-04 888
华尔街日报今日的报道指出Sam Altman，作为全球最有影响力的生成型人工智能公司OpenAI的首席执行官是硅谷最多产的个人投资者之一，截至今年年初，其个人投资了 400 多家公司，所持股份价值至少 28 亿美元。好好这么rich是吧！▲图源@Z Potentials但是报道里面也指出其中部分Altman的投资可能与OpenAI的业务交易存在潜在、复杂的利益关系。
博客
清华研究再登Nature！重磅发布世界首个类脑互补视觉芯片
05-30 916
近日，清华大学在《Nature》杂志上发表了一项开创性的研究成果：一款名为"天眸"(Tianmouc)的互补视觉芯片。这是首次在芯片层面模仿人眼结构，实现高速、高精度、高动态范围的视觉感知。
博客
大模型+智能眼镜，让失明人士也能无障碍阅读
05-07 796
这项研究提出了一个基于大语言模型的智能眼镜阅读助手，帮助视力受损人群阅读文本、互动和获取信息，并以此提高其生活独立性和舒适度。研究通过使用智能眼镜中的嵌入式RGB摄像头，获取使用者视角的影像视频，再使用对象检测技术（Object Detection）和光学字符识别（OCR）对获取的视频进行处理。然后，通过大语言模型与用户进行交互，处理给定的用户请求。
博客
比阿里EMO抢先开源！蔡徐坤“复出”唱RAP，腾讯AniPortrait让照片变视频，鬼畜区UP狂喜！看看哪家效果好
04-24 610
腾讯放了个大招，开源了Audio2Video大模型AniPortrait，话不多说，先看效果！1不得不说，从肌肉运动到连贯程度，效果都是相当惊艳的。可以预见，以后的视频网站的鬼畜区又有新工具了下面我们先来看看，这个模型究竟是个啥东西？
博客
离世界模型更近一步！Meta开源OpenEQA，评估AI Agent情景理解能力
04-17 938
Meta 刚刚推出的 OpenEQA，是第一个支持情景记忆和主动探索用例的开放词汇基准数据集，用来衡量 AI 代理对其环境的理解。▲图1. Meta 开源的 OpenEQA 基准，其中包含1600多个非模板问题，测试属性识别、空间理解、功能推理和世界知识等方面。OpenEQA 包含两个任务，一个是情景记忆 EQA，其中具身 AI 代理根据其对过去经验的回忆回答问题（就像刚才帮你回忆工牌位置的眼镜）。
博客
集体出走的Stability AI 发布全新代码大模型，3B以下性能最优，超越Code Llama和DeepSeek-Coder
03-28 1193
Stability AI又有新动作！程序员又有危机了？3月26日，Stability AI推出了先进的代码语言模型Stable Code Instruct 3B，该模型是在Stable Code 3B的基础上进行指令调优的Code LM。
博客
业界首次！搭载英伟达GPU，50倍性能提升！Zilliz发布Milvus 2.4向量数据库
03-27 932
在上周在美国硅谷圣何塞召开的NVIDIA GTC大会上，Zilliz[1] 发布了 Milvus 2.4 [2]版本。这是一款革命性的向量数据库系统，它在业界首次采用了英伟达 GPU 的高效并行处理能力和 RAPIDS cuVS 库中新推出的 CAGRA[3]（ CUDA-Accelerated Graph Index for Vector Retrieval ）技术，提供基于GPU的向量索引和搜索加速能力。Milvus 2.4 的 GPU 加速性能提升效果令人惊叹。
博客
何恺明重提十年之争——模型表现好是源于能力提升还是捕获数据集偏置？
03-26 1163
数据集偏置（Dataset Bias）是指在数据收集、选择或处理过程中引入的系统性偏差，导致数据集不能公平、全面地代表整个问题空间或现实世界的各个方面，而是较为集中地代表其中某些方面。这种偏差会影响数据集的代表性，进而影响训练模型的鲁棒性、泛化能力和公平性。计算机视觉任务中，察觉数据集的偏置对人类来说是十分困难的，下面的15张图片分别来自3个数据集，每个数据集5张，你能发现哪5张图片来自同一数据集吗？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值