刘知远：大模型值得探索的十个研究方向

最新推荐文章于 2024-11-14 17:10:58 发布
最新推荐文章于 2024-11-14 17:10:58 发布
阅读量358 收藏
点赞数
分类专栏： 论文记录 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hekena/article/details/131146443
版权
文章提出了对大模型的十个关键研究方向，包括基础理论的探讨，如大模型的网络架构是否已定型在Transformer；效率优化，如何使模型计算更高效；以及安全性和可控性问题，如何确保大模型的生成内容安全可信。此外，还关注大模型的认知学习能力提升，创新应用场景的发掘，数据评价方法以及提高模型使用的易用性。
摘要由CSDN通过智能技术生成

刘知远：大模型值得探索的十个研究方向
https://baai.org/l/27283

  1. 基础理论：大模型的基础理论是什么？

  2. 网络架构：Transformer是终极框架吗？

  3. 高效计算：如何使大模型更加高效？

  4. 高效适配：大模型如何适配到下游任务？

  5. 可控生成：如何实现大模型的可控生成？

  6. 安全可信：如何改善大模型中的安全伦理问题？

  7. 认知学习：如何使大模型获得高级认知能力？

  8. 创新应用：大模型有哪些创新应用？

  9. 数据评价：如何评估大模型的性能？

  10. 易用性：如何降低大模型的使用门槛？

YJII
关注
专栏目录
大模型基础01：理论与技术的演进概述
AaronZZH 的博客
07-15 3138
大语言模型（英文：Large Language Model，缩写LLM） 是指参数规模极大的神经网络语言模型，大模型的基础理论主要包括深度学习理论、表示学习理论、迁移学习理论、模式识别理论、计算学习理论、分布式计算理论和统计语言模型理论,大模型集成了这些计算机科学核心理论的精华。通过大数据预训练加小数据微调，大大降低了使用门槛，将人工智能技术带入了一个新的阶段。
大模型基础之简要背景知识
Learning
06-13 977
小白也要学习大模型
大模型介绍1：理论基础
hzp666的博客
01-23 1496
语言大模型的涌现能力[18]、规模定律[14]，多模态大模型的知识表示、逻辑推理能力、泛化能力、情景学习能力[19][37]等方面有待展开深入研究，为大模型的大规模 实际应用提供理论保障。大模型基于数据驱动深度学习方式，依赖训练数据所覆盖的场景，由于复杂场景数据不足，大模型存在特定场景适用性不足的问题，面临鲁棒性和泛化性等挑战。早期的语言大模型表现出一定 的少样本学习能力，但是其学习目标主要通过预测下一个单词实现， 仍不能很好地遵循人类指令，甚至会输出无用的、有害的信息，难以 有效对齐人类的偏好。
大模型相关资料整理
weixin_36378508的博客
11-16 5133
深度大模型
大模型理论基础
代号1998的专栏
09-04 831
1.大语言模型通过海量数据和计算资源驱动的训练，展现出新兴能力或“涌现能力”。 2.这种能力意味着模型在达到特定规模和训练程度后，能够突然掌握新技能或显著提升性能。
大模型值得探索的十个研究方向
Hanscal
09-19 1886
随着大模型的规模增大，能力增强，极大的冲击了人工智能领域的研究方向，特别是对于自然语言处理研 究者来说，有很多老的问题解决了、消失了，有研究者在大模型时代没法找到自己的研究方向，感到焦虑和迷 茫，不过，在我看来，在像大模型这样的技术变革出现时，我们认识世界、改造世界的工具也变强了，会有更多 全新的问题和场景出现，等待我们探索。所以，不论是自然语言处理还是其他相关人工智能领域的研究者，都 应该庆幸技术革命正发生在自己的领域，发生在自己的身边，自己无比接近这个变革的中心，比其他人都更做 好了准备迎接这个新的时代
【LLM】大模型值得探索的十个研究方向
发现问题，并解决问题，批判性思维
06-03 6100
基础理论：大模型的基础理论是什么？网络架构：Transformer是终极框架吗？高效计算：如何使大模型更加高效？高效适配：大模型如何适配到下游任务？可控生成：如何实现大模型的可控生成？安全可信：如何改善大模型中的安全伦理问题？认知学习：如何使大模型获得高级认知能力？创新应用：大模型有哪些创新应用？数据评价：如何评估大模型的性能？易用性：如何降低大模型的使用门槛？
清华刘知远：大模型「十问」，寻找新范式下的研究方向
BAAIBeijing的博客
03-23 3779
大模型的出现迎来了AI研究的新时代，其所带来的结果提升十分显著，超越了很多领域中针对研究问题设计特定算法实现的提升。具体而言，预训练到Finetune的新范式最本质的特点是统一框架以及统一模型。首先，更加统一的架构，在预训练出现之前，CNN、RNN、Gate、Attention等在内的算法框架层出不穷。2017年 Transformer出现之后，取代各种流行框架的是一个统...
【人工智能】《大模型十问》—— 我们认为大模型值得探索的十个问题
AI天才研究院
06-03 1万+
看过有些评论说，大模型出现后NLP没什么好做的了。在我看来，在像大模型这样的技术变革出现时，虽然有很多老的问题解决了、消失了，同时我们认识世界、改造世界的工具也变强了，会有更多全新的问题和场景出现，等待我们探索。所以，不论是自然语言处理还是其他相关人工智能领域的学生，都应该庆幸技术革命正发生在自己的领域，发生在自己的身边，自己无比接近这个变革的中心，比其他人都更做好了准备迎接这个新的时代，也更有机会做出基础的创新。
大模型LLM领域，有哪些可以作为学术研究方向？
人工智能曾小健
06-14 1241
发表于江苏编者：本文转载了清华大学计算机系刘知远教授对大模型的一些思索，以飨读者。刘知远CCF 高级会员，CCCF 前编委。清华大学计算机系副教授、博士生导师。已在ACL、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文80余篇，Google Scholar统计引用超过1万次。承担多项国家自然科学基金。曾获中文信息学会青年创新奖，入选国家青年拔尖人才支持计划，智源研究院青年科学家，中国科学青年人才托举工程。正文如下：感觉有责任回答这个问题，恰好在高铁上写下回答。
万字综述：行业知识图谱构建最新进展
Paper weekly
12-06 3172
作者｜李晶阳[1]，牛广林[2]，唐呈光[1]，余海洋[1]，李杨[1]，付彬[1]，孙健[1]单位｜阿里巴巴-达摩院-小蜜Conversational AI团队[1]，北京航空航天大学...
大模型的研究新方向：混合专家模型（MoE）
南七小僧的学海无涯
04-23 291
混合专家模型的实现涉及对专家模型和门控网络的联合训练，在整个数据输入处理的过程中，门控网络起到了动态调配专家模型资源的关键作用，使混合专家模型能够灵活地适应不同的输入数据分布和任务要求。说到这里的“门”概念，与LSTM网络的“门”概念有所不同，MoE的“门”概念主要是用于匹配数据和专家模型之间的连接，就好比不同班级的学生要进不同的教室上课一样，而LSTM的“门”概念主要是一种控制信息流动的装置，它可以保留或通过一定比例的数据，更像是在控制流量，而MoE的“门”概念可以看作是选择要通过的对象。
技术干货｜什么是大模型？超大模型？Foundation Model？
热门推荐
Kenji_Shinji的博客
06-25 5万+
目前Foundation Model或者是大模型，特别地火，接下来介绍什么是大模型，大模型的基本概念；接着看看大模型的实际作用，然后基于这些实际作用，我们简单展开几个应用场景。最后就是介绍支持大模型训练的AI框架。在往下看之前，想抛出几个问题，希望引起大家的一个思考：1）为什么预训练网络模型变得越来越重要？2）预训练大模型的未来的发展趋势，仍然是以模型参数量继续增大吗？3）如何预训练一个百亿规模的大模型？ MindSpore官方资料GitHub : https://github.com/mindspore-
ks8 本地化部署 F5-TTS
陈锐的技术笔记
11-13 591
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
基于OpenFOAM和深度学习驱动的流体力学计算与应用
最新发布
2301_80236428的博客
11-14 292
从物理模型融合到复杂流动模拟，从数据驱动研究到流场智能分析，深度学习正以前所未有的力量重塑流体力学领域。伴随深度学习在流体力学研究中应用的普及，相关的开源软件和工具为科研人员提供了便捷的平台，简化了深度学习模型的实现与应用过程，加速了研究成果的转化。深度学习架构能够有效从流体数据中抽取关键特征，应用于流场预测、流动优化、流场可视化等多个领域，极大地提升了流体问题的分析效率和精度。构建物理增强的深度学习模型，将流体力学的控制方程、边界条件等物理规则内嵌于模型中，以提高模型的准确性和物理一致性。
卷积神经网络CNN
m0_53374676的博客
11-13 371
卷积层通过应用一组可学习的滤波器（或称核）到输入图像的不同位置，产生一个特征映射（Feature Map）。CNN是一种前馈神经网络，它的人工神经元可以对输入的图像数据进行响应，并且可以检测图像中的局部特征，如边缘、纹理等。
Ubuntu 20.04配置ollama并下载安装调用本地大语言模型
电子爱好者磊雷
11-11 957
Ollama 是一种新的本地语言模型管理与运行平台，旨在帮助用户在本地环境中运行和管理大型语言模型（LLMs），例如 LLaMA、GPT 等。与传统基于云的解决方案不同，Ollama 专注于在用户本地系统上运行这些模型，以提高数据隐私性和响应速度。
清华大学刘知远：深度学习在词汇、语义、短语及知识表示中的应用
在清华大学自然语言处理实验室(Natural Language Processing Lab, Tsinghua University)的研究背景下，刘知远等人发表了一篇题为《Representation Learning for Word, Sense, Phrase, Document, and Knowledge》的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YJII

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值