- 博客(15)
- 收藏
- 关注
RSS订阅原创 GLM-4-9B 开源，探索模型极限
GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多模态版本 GLM-4V-9B-Chat（8K）。GLM-4-9B 模型的函数调用能力更是迎来了巨大的升级，相比上一代提升了 40%，在 Berkeley Function-Calling Leaderboard 上，GLM-4-9B 模型的 Function Call 能力与 GPT-4 不相上下。
2024-06-05 16:34:37
928
原创 【报名】GLM 法律行业大模型挑战赛 | 冠军最高 52 万现金奖励
2024 年第三届琶洲算法大赛由广州市人民政府、 中国人工智能学会联合主办， 中国信息通信研究院、 广州市海珠区人民政府、 广州市科学技术局、 广州市工业和信息化局、 广州市政务服务和数据管理局、 人工智能与数字经济广东省实验室（广州）共同承办， 聚焦 AI 大模型、 AIGC 行业热点， 广泛邀请行业龙头企业、 科研机构、 投资机构、 生态合作企业、 行业协会参与出题、发动征集、评审、技术合作及商业落地机会， 预计将吸引超 5000 支队伍参赛。10万元人民币现金奖金，10万元算力券，颁发获奖证书。
2024-05-31 19:13:19
763
原创 清华大学唐杰：大模型与超级智能
以下文章来源于中国计算机学会 ，作者唐杰本文探讨了大模型的发展历程，介绍了作者团队研发的GLM-4大模型，并针对AGI研究面临的挑战对AGI未来发展提出了一些思考。超大规模预训练模型（也称基础模型、大模型，英文为Foundation Model、Big Model等）快速发展，成为国际人工智能领域研究和应用的前沿焦点。OpenAI ChatGPT和Sora的推出引发了社会和公众的广泛关注，并引起了大模型是否会引发新一轮行业变革甚至新一次工业革命的讨论。大模型作为ChatGPT和Sora等生成式人工智
2024-05-31 17:33:40
821
原创 用大模型 API 就上 bigmodel.cn！
智谱大模型开放平台 bigmodel.cn 是体验智谱 GLM 系列大模型的最佳方式！bigmodel.cn 这个名字就是大模型三个字的直译，非常好记。上面部署着智谱大模型全家桶，不仅包括企业版，具备视觉和智能体能力的GLM-4/4V，个人版/入门版，推理极速且高性价比的GLM-3-Turbo，还有基于文本描述创作图像的CogView-3，超拟人角色定制模型CharacterGLM，擅长中文的向量模型Embedding-2 以及代码模型 CodeGeeX等。
2024-05-27 09:46:21
303
原创 GLM：AGI 之路
当人在睡觉的时候，大脑依然在无意识地学习。第二，为解决更加复杂的问题，GLM大模型团队提出GLM-OS概念，即以大模型为中心的通用计算系统。人脑中存在着反馈 （feedback） 和决策 （decision-making） 两个系统，分别对应着大模型和内存记忆两大部分，GLM-zero的相关研究将进一步拓展人类对意识、知识、学习行为的理解，换而言之，尽管还处于非常早期的研究阶段，但GLM-zero可以视为通向AGI的必经之路，这是GLM大模型团队第一次向外界公开这一技术趋势。
2024-05-24 15:18:23
399
1
原创 ChatGLM-Math：强化数学能力
在我们的方法中，这两个答案都是从经过RFT后的模型中采样得到的，我们发现这一点至关重要。例如RLHF的方法，虽然可以提高文本生成的质量，但却会忽略解决数学问题所需要的准确性和逻辑连贯性，而 SFT 微调，则可能降低大模型本身的语言多样性。我们使用了基于 Math-Critique 的拒绝采样方法，重新审查和重新设计了RFT的实现，并发现在拒绝采样过程中，采样范围和模型都会影响结果。在Critique RFT阶段，我们的每次微调迭代都包括了前几个阶段的数据集经过去重后的结果，这也包括了最初的SFT数据集。
2024-05-23 17:27:41
657
1
原创 CogVLM2：第二代视觉大模型，19B 即可比肩 GPT-4V
这一模块通过独特的参数设置，精细地建模了视觉与语言序列的交互，确保了在增强视觉理解能力的同时，不会削弱模型在语言处理上的原有优势。这个模块能够有效地提取视觉序列中的关键信息，大幅减少输入到语言模型中的序列长度，从而在确保模型性能的同时，显著提升了推理速度，实现了性能与效率的最佳平衡。在不损失任何通用能力的前提下，在许多关键指标上有了显著提升，如在 OCRbench 基准上性能提升32%，在TextVQA基准上性能提升21.9%，且模型具备了较强的文档图像理解能力（DocVQA）等；
2024-05-22 17:34:39
2494
1
原创 智谱清言 & GLMs智能体手册
GLM的全称是General Language Model，即通用预训练大语言模型。GLMs是基于GLM4模型搭建的智能体创建平台。简单来说，你无需编程经验，通过简单的配置一些文字信息，就可以快速构建一个具备专属技能的 GLM，你的自定义ChatGLM时代到来了！GLMs 让任何人都能够自由运用 GLM-4 模型并挖掘它的潜力，极大的满足了个性化的使用需求。GLM 不仅在集成上更进一步，不必一步步调用，更将成为人人可开发的强大工具。👧：“我没有编程基础，这能行吗？🤖：放心吧！
2024-03-20 15:34:49
7029
2
原创 CogVLM：智谱AI 新一代多模态大模型
其次，VisualGLM 是一个依赖于具体语言模型的多模态模型，而CogVLM则是一个更广阔的系列，不仅有基于GLM的双语模型，也有基于Llama2系列的英文模型。目前主流的开源的模型包，括知名的MniGPT-4和最近发布的 LLAVA 1.5，均不能理解该视觉场景的有趣之处，而CogVLM则精准地说出VGA接口充电不合常理。而CogVLM在多模态模型中将视觉理解放在更优先的位置，使用5B参数的视觉编码器和6B参数的视觉专家模块，总共11B参数建模图像特征，甚至多于文本的7B参数量。
2023-12-26 15:05:55
1477
1
原创 CogAgent：带 Agent 能力的视觉模型，免费商用
而多模态模型 CogAgent，可接受1120×1120的高分辨率图像输入，具备视觉问答、视觉定位（Grounding）、GUI Agent等多种能力，在9个经典的图像理解榜单上（含VQAv2，STVQA, DocVQA，TextVQA，MM-VET，POPE等）取得了通用能力第一的成绩，并在涵盖电脑、手机的GUI Agent数据集上（含Mind2Web，AITW等），大幅超过基于LLM的Agent，取得第一。但是，一个严重的问题是，受限于LLM的模态，它只能接受语言形式的输入。基于 CogVLM，
2023-12-26 14:00:55
1231
1
原创 AgentLM：能打的 Agent 模型来了！7B，13B，70B 全开源
与原始模型相比，AgentLM 在原始同分布评测数据集（也就是微调所选用的任务）上表现接近 GPT-4，在从未见过的 6 个数据集上也有大幅提升，泛化性良好，表现接近 GPT-3.5-Turbo，而在通用能力方面，AgentLM 作为通用语言模型与微调前的模型表现相当。而结合通用数据后，模型在训练过程中在仍能较好地保持原先的语言理解和输出能力，因此不仅可以继续完成各项通用任务，还可以在没有见过的 Agent 任务上，结合语言模型的原有的指令跟随能力和微调中学到的 Agent 能力，得到良好的泛化效果。
2023-12-22 14:59:36
1463
原创 BPO：灵活的 Prompt 对齐优化技术
并非所有人都熟知如何与 LLM 进行高效交流。于是有了 「Prompt工程师」这一岗位，专门撰写适配 LLM 的 Prompt，从而让模型能够更好地生成内容。而另一种更为有效的方案则是，让模型向人对齐。这也是大模型研究中非常重要的问题，但，随着模型规模变大，基于训练的对齐技术也需要耗费更大量的资源。因此，我们提出另外的一种方案，即这种方法可以在不对 LLM 进行训练的情况下，大幅提升与人类偏好的对齐程度。而且 BPO 可以被替换到各种模型上，包括开源模型和基于API的模型。
2023-12-22 14:12:17
1078
原创 AlignBench：专为「中文 LLM」而生的对齐评测
对齐（Alignment），即大语言模型（LLM）与人类意图的对齐。换句话说，即让 LLM 生成结果更符合人类预期，这可能包括遵循人类的指令，理解人类的意图，进而能够产生有帮助的回答等。对齐是 LLM 能否在实际场景中得到真正应用的关键因素。而如何评估模型的对齐水平同样至关重要 —— 没有评测，就不知道优劣。但目前为止，在中文评测领域关于对齐的评测，依然是一片空白。首先，广泛使用的一些评测数据集，如 MMLU，C-Eval 等，和真实使用场景的差别较大，并不能有效评估模型的指令遵循能力。
2023-12-21 20:09:05
1051
原创 CritiqueLLM：高质量、低成本的评分模型
具体而言，我们选择ChatGPT作为生成模型，先让其针对用户询问生成文本，然后将ChatGPT、GPT-4或CritiqueLLM生成的评价结果作为提示的一部分，让ChatGPT根据评价结果生成新的文本。针对评价模型生成的评价解释的质量，我们开展了人工评价。对于每个生成文本，标注员对其质量进行了1-5分的人工评分。我们使用含参考文本和无参考文本的评价数据，分别训练了两种评价设定下的CritiqueLLM模型，使其能够针对用户询问、模型生成文本和可能存在的参考文本，生成包含评价解释和评价分数的完整评价结果。
2023-12-21 18:24:07
1224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人