langboat_mengzi的博客

同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。

然而，稠密检索 (LLM-DR) 微调基于对比学习原理，为保证批次内负样本 (In-batch negatives)与跨批次负样本(Cross-batch negatives)的质量，一个批次(Batch) 内仅能读取来自同一领域的数据，否则将会影响最终性能表现。同时，在大规模的单语、多语、跨语言检索基准测试中，tDRO显著提升了不同尺寸(500M、1.8B、4B、7B、8B)和不同基座(Qwen1.5、LLaMA3、Mistral-0.1)的大模型稠密检索（LLM-DR）的性能表现。

CPT能够显著提升训练效率，实现更快地达到更低损失的目标，同时节省了25%到50%的训练资源。

精准摘要问答回溯，纪要编辑专业可控

表示，“在企业的数智化道路上，通用大模型和行业大模型都非常重要，通用大模型像是底座，提供未来的可能性，行业大模型更重视业务应用。随着大语言模型的流行，大模型在金融行业的业务场景中展现出了更多可行性和潜力。榜单评测中，相继都取得了很不错的成绩，未来，我们也会继续努力，不断优化和完善我们的大模型，与行业伙伴紧密合作，共同推动人工智能技术在各个领域的应用和发展。总的来说，AI Agents的搭建立足于L1-L3各层模型的能力，孟子大模型此次在各级产品体系分别推出新品，真正实现完整的大模型赋能企业应用的闭环。

通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，落地的时候我追求跟行业伙伴把最后一公里做起来。，通用大模型像是底座，提供未来的可能性，而垂直大模型是在通用的基础上，加入行业的知识和规则，然后融入到通用大模型中。从通用大模型到行业大模型，除了AI领域的人才，还需要真正懂行业的专业人士加入并肩作战，这样才能做出更专业好用的行业大模型。“通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，

通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，落地的时候我追求跟行业伙伴把最后一公里做起来。，通用大模型像是底座，提供未来的可能性，而垂直大模型是在通用的基础上，加入行业的知识和规则，然后融入到通用大模型中。通用大模型像是底座，提供未来的可能性，而垂直大模型是在通用的基础上，加入行业的知识和规则，然后融入到通用大模型中。“通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，

发言结束后，专家们围绕大模型的可能性边界、数据集和训练集、计算机视觉、知识图谱等前沿问题展开深入研讨，在「“大”是模型的未来吗？周明介绍了大模型发展历程，重点从通用大模型、行业大模型和场景大模型三个层次剖析澜舟大模型落地路径，同时结合金融大模型的具体案例，梳理层次化落地体系。专家圆桌对话环节聚焦“大模型及通用人工智能：问题与挑战”这一主题，周明、沈向洋、张建伟分别做简短主题发言，并展开深入研讨交流。最后，周明通过基于孟子大模型实现的澜舟智会会议助手系统说明了如何实现用孟子的三层模型体系创造价值。

技术先锋社区于2000年发起成立，由世界各地的初创期企业组成，他们从事科技创新的设计、开发和部署，有望对商业和社会产生重大影响。2023年入选的技术先锋均为初创期创新科技企业，澜舟科技作为一家认知智能公司，从创立之初便致力于以自然语言处理技术为基础，积极探索大模型技术的应用与发展，助力企业实现高效的数字化转型。未来，澜舟科技将继续致力于创新和优化孟子大模型的性能和功能，为用户提供更加灵活、智能化的解决方案，满足不同行业和场景下的需求。：以自然语言处理技术为基础的认知智能公司，助力企业实现高效的数字化转型。

6月28日，由中国互联网协会、中国信息通信研究院云大所、三六零(601360.SH,下称“360”)联合主办的“GPT产业联盟成立大会”在北京召开。作为代表同360联合的智谱AI、华为云、商汤科技、创业黑马、出门问问、云知声、中关村龙门加速器等多家产业链企业共同宣布GPT产业联盟正式成立。未来，联盟将通过发展100家行业合作伙伴、携手1000家GPT应用生态合作伙伴，为百万家客户提供GPT一站式服务，加速GPT产业发展。

基于这些思考，澜舟科技提出孟子大模型“L1-L2-L3”三级服务体系，以通用大模型为底座，加入行业知识构建行业模型，再基于行业模型，将常见的任务融入进去，从通用模型到行业模型，再到企业具体的场景模型，从而进一步提供更好的企业服务。相信未来，大模型将成为各行各业的基础模型，通过云计算、本地部署和端，成为企业服务中枢。该计划旨在打造高质量语料库，围绕语料数据共建数商生态，引导不同行业、领域具有一定规模的高质量语料数据产品挂牌交易，推动人工智能大模型技术创新与应用落地，丰富语料库多样性，助力数据要素市场建设。

此外，不同的大公司都有自己的不同生态，也不会用其他公司的生态。比如一家公司的社会关系网络做得好，大概不会用某个搜索公司的大模型，或者电商做得好的人，也不愿意将自己的模型提供给有竞争关系的公司使用，反之亦然。To B存在很多新的创业机会，包括对客户、行业的理解，客户与大模型团队的互动，形成某种意义上的战略合作伙伴，或者形成所谓数据飞轮、功能飞轮，做得越深，相应的壁垒就越高。他认为，行业厂商要根据自己的能力，选好不同的赛道，比如To C是一个赛道，To B是一个赛道，To Developer可能也是一个赛道。

澜舟科技也分别与中文在线、华夏基金、引力传媒和传神公司等行业头部企业或机构合作，研发了针对各个领域的行业大模型，引入了行业相关的数据和知识，设计了针对性的预训练任务，提高了模型的精度和效率。这也说明，行业大模型相比通用大模型将给企业带来更加精准的解决方案，并且从成本角度出发，更有针对性地选择大模型，在降低模型部署、运行、数据标注、模型训练等方面都能实现提高效率和降低成本。同时也要考虑模型的规模和成本，不盲目追求千亿模型，而是根据企业用户的需求和推理效率来选择合适的模型大小。通过对比技能与规模，

孟子金融大模型采用更多金融领域的数据进行自监督训练，同时通过模型标注和人工标注的方法构建了数百万条涵盖金融下游任务的指令训练数据，从语言理解到语言生成，涵盖实体识别、情感分析、信息抽取、文本理解、文本生成、文本翻译、智能对话、智能问答等多个方面。两年间，澜舟科技积极探索大模型技术的应用和发展，坚持技术积累和业务验证，完成孟子大模型系列品牌建设。针对金融任务，利用高质量金融领域数据和任务训练的模型，比同等级别参数的通用模型性能更优，甚至更少参数量的金融模型可以取得比更多参数量的通用模型更优的性能。

近日，杭州通用人工智能论坛在未来科技城顺利举办，本次论坛由中国信息通信研究院（以下简称中国信通院）、浙江省经济和信息化厅、杭州市人民政府、中国人工智能产业发展联盟共同主办，共同探讨大模型应用现状、大模型赋能行业应用、展望大模型发展趋势等重点关注问题。发布于创业之初的孟子通用预训练模型，随即完成了营销文案生成和金融领域两种落地场景应用，同时登顶CLUE榜单，完成技术能力验证，经过两年发展，澜舟科技逐步优化完善孟子大模型技术品牌，类比如今如雨后春笋般发布的大模型，澜舟科技孟子大模型具备。作为一家认知智能企业，

ChatGPT 出现后，涌现了单模型、单任务永远出不来的能力，于是迈入 AI2.0 时代，它的特点是一个模型 N 个任务，未来甚至一个模型可以解决无穷个任务。不用非得做 ChatGPT，在 AIGC 领域重点突出关键词生成、自定义模版、文图工作等能力，把模型做得又轻又好，再结合用户需求，企业数据就能巧妙利用起来。企业应该试图把 AI1.0 功能引擎和 AI2.0 部分能力（如问题理解和多轮对话的能力）无缝对接起来，形成一纵一横的合力，练模型的团队和用模型的团队持续产生交互，共同提升效率。

目前，澜舟科技也有一些初步的研究成果，比如可控的文图生成的风格控制，举个例子，生成一种国画风，也是用到 Stable Diffusion，但中间也会做一些训练进行反哺，就是有一个 Discriminator 判别器，中间有人员参与挑选生成的图片，然后告知模型生成的图片中有哪些是符合国画风的，哪些是不符合的，即把正确的结果再反哺给 Stable Diffusion ，如此训练出来的模型再去推理时，效果就会接近想要的风格。可以说，澜舟在文学辅助写作上的 AIGC 的能力放到了小程序中，有兴趣的都可以试一试。

AIGC的浪潮下，文本生成发展得怎么样了？

本次与大家分享一篇建模长文本篇章结构的工作，用以提升生成文本的连贯性。

​第二期澜舟分享会邀请到来自中科院软件所中文信息处理实验室研究员韩先培分享演讲“UIE：基于统一结构生成的通用信息抽取”。​