YuLan：开源的大语言模型探索

最新推荐文章于 2025-06-05 22:56:29 发布
最新推荐文章于 2025-06-05 22:56:29 发布
阅读量740 收藏 13
点赞数 31
分类专栏： AGI通用人工智能 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36829761/article/details/141527310
版权

在人工智能的快速发展中，语言模型的演进正在改变我们与机器的互动方式。在这一领域，中国人民大学高瓴人工智能学院的研究团队推出了YuLan，一个令人兴奋的开源大语言模型。YuLan的名称源自“玉兰”，这是中国人民大学的校花，象征着优雅与智慧。本文将深入探讨YuLan的技术特性、模型评估及其在实际应用中的潜力。

YuLan的技术特性

YuLan系列模型是基于聊天的语言模型，采用了多种先进的技术以增强其语言能力和人类对齐能力。这些技术特性包括：

  1. 大规模预训练：YuLan模型在超过1.6TB的中英文及多语种数据上进行了预训练。这一过程使得模型在语言理解和生成方面具备了更强的能力。

  2. 课程学习策略：通过引入课程学习方法，YuLan在训练过程中逐步提高任务的复杂性，从而有效地增强了其在真实场景下的有用性、诚实性和无害性。这一策略使得模型能够更好地理解和响应人类的意图。

  3. 扩展的词汇和输入长度：为了更好地支持中文和更长的输入输出，YuLan模型扩展了其词汇表，并将最大输入长度扩展到4096个标记。这使得模型在处理复杂对话时更加灵活。

下面是YuLan不同版本的对比表，展示了它们在技术特性上的区别：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
丨汀、的博客
06-19 4732
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
MING-MOE：通过低阶适配器专家的稀疏混合增强大型语言模型中的医学多任务学习
强化学习曾小健
07-06 920
像 ChatGPT 这样的大型语言模型在自然语言理解和生成方面已经取得了巨大进步，在包括医学领域在内的各个学科中都证明了其价值。尽管取得了进步，但由于医疗任务固有的复杂性和多样性，通常需要多任务学习能力，因此挑战仍然存在。以前的方法虽然有益，但在现实应用中存在不足，因为它们需要在推理时进行特定于任务的注释，从而限制了更广泛的泛化。本文介绍了 MING-MOE，一种新型的基于专家混合 (MOE) 的医学大语言模型，旨在管理多样化且复杂的医疗任务，而不需要特定于任务的注释，从而增强其在广泛数据集上的可用性。
开源大语言模型完整列表
2401_85325726的博客
08-10 2541
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
人工智能-开源大语言模型完整列表
软件开发实战项目分享
06-11 798
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
所有开源大语言模型完整列表（最全！！可部署，建议收藏）
weixin_74041379的博客
08-05 3341
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
整理了上百个开源中文大语言模型，涵盖模型、应用、数据集、微调、部署、评测_基于大语言模型的网络自动配置平台的设计与开发
2401_84208172的博客
07-24 2810
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！
探索YuLan-Mini：一款开放、数据高效的语言模型
weixin_41446370的博客
12-28 1209
在人工智能领域，大型语言模型（LLMs）的发展日新月异，而YuLan-Mini正是这一领域的最新突破。由中国人民大学高瓴人工智能学院（Gaoling School of Artificial Intelligence, Renmin University of China）的研究团队开发的YuLan-Mini，是一款具有2.42亿参数的轻量级语言模型，它在数学和代码领域表现出色，并且在性能上可与训练数据量更大的行业领先模型相媲美。
AI大模型语言开源大语言模型完整列表
谢谢大家的关注
04-15 2388
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
对国内外开源大模型（LLM）较为全面的整理
2401_85325726的博客
08-02 1265
CodeFuse-13B 是基于 GPT-NeoX 框架训练的 13B 参数代码生成模型，能够处理 4096 个字符的代码序列。该模型在 1000B Token 的代码、中文、英文数据数据集上进行预训练，覆盖超过 40 种编程语言。为了进一步提升生成代码的效果和质量，该模型还在CodeFuse-Evol-instruction-66k 数据集上进行了微调，使得该模型能够生成更加准确、高效、符合要求的代码。
大规模语言模型介绍
qq_27910127的博客
06-22 1109
*大规模语言模型（LLM）**是一种先进的深度学习应用，它在自然语言处理（NLP）领域扮演着重要角色。这些模型通过分析和学习大量的文本数据，能够掌握语言的复杂结构和语义，进而生成流畅、符合逻辑的文本内容。LLM的构建通常基于神经网络，并经过大量数据的训练，使它们具备处理各种NLP任务的能力，如文本生成、分类、摘要、翻译及语音识别等。本文将详细介绍一系列由不同组织开源的LLM，它们在功能和应用上各具特色。
【大模型:知识图谱】--3.py2neo连接图数据库neo4j
我是个好人呀，O(∩_∩)O
06-03 1475
本文介绍了Neo4j图数据库的安装与基本操作。主要内容包括：1) 使用py2neo连接Neo4j数据库；2) 通过Python实现节点创建、删除、属性修改等操作；3) 建立节点间关系的方法；4) 使用NodeMatcher和RelationshipMatcher进行节点和关系查询；5) 通过实例演示如何创建人物节点及其关系网络。文章还对比了Neo4j社区版和企业版的差异。全文提供了完整的代码示例，涵盖从连接到CRUD操作的完整流程。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 524
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
通过基于流视频预测的可泛化双手操作基础策略
yorkhunter的博客
06-04 2243
25年5月来自中国电信、西北工业大学和香港科大的论文“Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction”。 由于动作空间巨大且需要协调手臂运动，学习可泛化的双手操作策略对于具身智体而言极具挑战性。现有方法依赖于视觉-语言-动作 (VLA) 模型来获取双手操作策略。然而，从单臂数据集或预训练 VLA 模型迁移知识通常无法有效泛化，这主要是由于双手数据的匮乏以及单臂和双手操作之间的根本差异。本文
3步在小米13手机跑DeepSeek R1
羊仔的博客
06-03 1650
大家好！我是羊仔，专注AI工具、智能体、编程。
智能终端与边缘计算
最新发布
wozaiwurenchu的博客
06-05 764
Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。
法律AI的“幻觉”治理：大模型如何重塑司法公正与效率
七刀的专栏
06-04 1099
在传统律师事务所中，一位律师审查一份50页的商业合同平均需要3小时；而在引入法律大模型后，这一时间被缩短至20分钟。效率提升的背后，是一场正在席卷全球法律体系的智能化革命——。
【oobabooga 本地AI模型搭建】
开心就好了啦
06-05 864
用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。
Langchain4j 文档处理（7）
m0_58617940的博客
06-05 1077
来自 langchain4j 模块的文件系统文档加载器（FileSystemDocumentLoader）来自 langchain4j 模块的类路径文档加载器（ClassPathDocumentLoader）来自 langchain4j 模块的网址文档加载器（UrlDocumentLoader）来自 langchain4j-document-loader-amazon-s3 模块的亚马逊 S3 文档加载器（AmazonS3DocumentLoader）
高效VLM：VisionZip
my的博客
06-04 631
《VisionZip：视觉语言模型中的高效视觉标记压缩方法》针对现有视觉语言模型(VLMs)存在的视觉标记冗余问题，提出了一种创新解决方案。研究发现，传统VLMs使用长序列视觉标记会导致计算成本高昂，且大量标记注意力权重趋近于零，存在显著冗余。VisionZip通过两阶段处理（保留主导标记+合并次要标记），在仅保留10%标记的情况下实现95%的原模型性能，并将LLaVA-NeXT模型的预填充时间减少8倍。该方法支持无训练应用、高效微调和从头训练三种模式。
常见大语言模型
06-02
<think>好的，我现在需要处理用户关于常见大语言模型列表及介绍的请求。首先，我得回顾用户提供的引用内容，看看有哪些模型已经被提到过。根据引用[2]和[3]，有YuLan-Chat、百聆(BayLing)、LLaMA、OPT-175B。引用[4]还提到了Dolly和OPT-175B。用户希望了解常见的大语言模型，所以应该包括这些，同时补充其他知名的模型，比如GPT系列、PaLM、BLOOM等。 接下来，我需要确保回答结构清晰，分点介绍每个模型，包括开发者、参数规模、特点和适用场景。同时，用户提到要生成相关问题，所以得在最后准备几个相关的问题，比如技术原理、应用场景、开源模型等。还要注意格式要求：行内数学公式用$...$，独立公式用$$...$$，但当前内容可能不需要太多数学公式，不过如果有提到参数数量或某些算法，可以适当加入。例如，可以提到模型参数量的数学表示，如GPT-3的1750亿参数可以写成$1.75 \times10^{11}$。需要检查LaTeX语法是否正确，比如参数数量是否用$符号包裹，确保没有遗漏。另外，引用的部分要在末尾添加引用标识，比如引用[1]、[2]等，但根据用户提供的引用内容，引用[2]和[3]提到了YuLan-Chat和百聆，引用[3]和[4]提到了LLaMA和OPT-175B，Dolly在引用[4]中提到。要正确对应这些引用到模型介绍中。 可能还需要补充一些其他常见模型，比如Google的BERT、T5，或者中国的ERNIE等，但用户提供的引用中没有提到这些，可能需要根据常识添加，但应优先基于提供的引用内容。不过用户要求尽可能参考提供的引用，所以可能主要围绕引用中的模型，加上一些广为人知的如GPT-3、PaLM。最后，生成的相关问题需要与主题相关，比如技术原理、应用场景、开源模型比较、训练方法等，确保问题有助于用户进一步探索。</think>### 常见大语言模型列表及介绍 以下是当前主流的大语言模型及其关键信息，涵盖开源与闭源模型： #### 1. **GPT系列（OpenAI）** - **开发者**: OpenAI - **参数规模**: GPT-3包含$1.75 \times 10^{11}$参数（1750亿）[^4] - **特点**: 支持多任务生成（文本、代码、对话），基于Transformer架构和自监督学习 - **应用场景**: 聊天机器人、内容创作、代码生成 #### 2. **LLaMA系列（Meta）** - **开发者**: Meta - **参数规模**: 包含70亿至650亿参数版本[^3] - **特点**: 开源模型，强调轻量化和高效推理，支持多语言 - **应用场景**: 学术研究、低资源环境部署 #### 3. **YuLan-Chat（中国人民大学）** - **开发者**: 中国人民大学高瓴人工智能学院 - **特点**: 专注于中英文双语对话能力，通过指令微调技术优化交互表现[^2] - **应用场景**: 多语言客服、教育领域对话系统 #### 4. **百聆(BayLing)** - **开发者**: 中国人民大学 - **特点**: 增强中英文语言对齐能力，支持复杂指令理解[^2] - **应用场景**: 跨语言翻译、多模态任务处理 #### 5. **OPT-175B（Meta）** - **开发者**: Meta - **参数规模**: 1750亿参数[^4] - **特点**: 开源且性能接近GPT-3，支持大规模分布式训练 - **应用场景**: 科研实验、企业级文本生成 #### 6. **Dolly（Databricks）** - **开发者**: Databricks - **参数规模**: 60亿参数[^4] - **特点**: 小规模模型但具备类ChatGPT的交互能力，训练成本低 - **应用场景**: 中小企业定制化对话系统 #### 7. **PaLM（Google）** - **开发者**: Google - **参数规模**: 5400亿参数 - **特点**: 多模态融合，擅长数学推理和复杂逻辑任务 - **应用场景**: 科学研究、数据分析 --- ### 数学模型与训练原理 大语言模型通常基于Transformer架构，其核心公式为自注意力机制： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中$Q$（查询）、$K$（键）、$V$（值）为输入矩阵，$d_k$为维度缩放因子[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

步子哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值