- 博客(42)
- 收藏
- 关注
RSS订阅原创 在后LLM时代，关于新一代智能体的思考
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
2024-11-07 14:12:51
808
原创 论文领读｜tDRO:面向大模型稠密检索的任务级分布鲁棒优化
然而，稠密检索 (LLM-DR) 微调基于对比学习原理，为保证批次内负样本 (In-batch negatives)与跨批次负样本(Cross-batch negatives)的质量，一个批次(Batch) 内仅能读取来自同一领域的数据，否则将会影响最终性能表现。同时，在大规模的单语、多语、跨语言检索基准测试中，tDRO显著提升了不同尺寸(500M、1.8B、4B、7B、8B)和不同基座(Qwen1.5、LLaMA3、Mistral-0.1)的大模型稠密检索（LLM-DR）的性能表现。
2024-10-31 10:31:19
607
原创 澜舟科技新突破：大模型实现“持续学习”，应用成本大幅降低
CPT能够显著提升训练效率，实现更快地达到更低损失的目标，同时节省了25%到50%的训练资源。
2024-10-17 17:20:22
592
原创 HICOOL2023创业峰会圆满落幕｜澜舟科技成功举办孟子大模型系列及澜舟智会产品发布会，持续大模型时代行业深耕
表示，“在企业的数智化道路上，通用大模型和行业大模型都非常重要，通用大模型像是底座，提供未来的可能性，行业大模型更重视业务应用。随着大语言模型的流行，大模型在金融行业的业务场景中展现出了更多可行性和潜力。榜单评测中，相继都取得了很不错的成绩，未来，我们也会继续努力，不断优化和完善我们的大模型，与行业伙伴紧密合作，共同推动人工智能技术在各个领域的应用和发展。总的来说，AI Agents的搭建立足于L1-L3各层模型的能力，孟子大模型此次在各级产品体系分别推出新品，真正实现完整的大模型赋能企业应用的闭环。
2023-08-29 15:15:54
267
转载 搜狐科技专访 | 澜舟科技CEO周明：不过度追求AGI，更看重大模型语言理解能力和应用落地性
通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，落地的时候我追求跟行业伙伴把最后一公里做起来。，通用大模型像是底座，提供未来的可能性，而垂直大模型是在通用的基础上，加入行业的知识和规则，然后融入到通用大模型中。从通用大模型到行业大模型，除了AI领域的人才，还需要真正懂行业的专业人士加入并肩作战，这样才能做出更专业好用的行业大模型。“通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，
2023-07-28 22:51:03
205
转载 澜舟科技CEO周明：不过度追求AGI，更看重大模型语言理解能力和应用落地性 | 1号位
通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，落地的时候我追求跟行业伙伴把最后一公里做起来。，通用大模型像是底座，提供未来的可能性，而垂直大模型是在通用的基础上，加入行业的知识和规则，然后融入到通用大模型中。通用大模型像是底座，提供未来的可能性，而垂直大模型是在通用的基础上，加入行业的知识和规则，然后融入到通用大模型中。“通用和行业大模型我都在做，通用的话，我是强调未来落地的程度，不追求太多的AGI，而追求的是语言理解的能力，
2023-07-27 11:24:28
611
原创 澜舟科技创始人兼CEO周明受邀出席“基础科学与人工智能论坛”
发言结束后，专家们围绕大模型的可能性边界、数据集和训练集、计算机视觉、知识图谱等前沿问题展开深入研讨，在「“大”是模型的未来吗？周明介绍了大模型发展历程，重点从通用大模型、行业大模型和场景大模型三个层次剖析澜舟大模型落地路径，同时结合金融大模型的具体案例，梳理层次化落地体系。专家圆桌对话环节聚焦“大模型及通用人工智能：问题与挑战”这一主题，周明、沈向洋、张建伟分别做简短主题发言，并展开深入研讨交流。最后，周明通过基于孟子大模型实现的澜舟智会会议助手系统说明了如何实现用孟子的三层模型体系创造价值。
2023-07-27 10:34:25
197
原创 澜舟科技荣膺世界经济论坛评选的2023年度技术先锋初创企业
技术先锋社区于2000年发起成立，由世界各地的初创期企业组成，他们从事科技创新的设计、开发和部署，有望对商业和社会产生重大影响。2023年入选的技术先锋均为初创期创新科技企业，澜舟科技作为一家认知智能公司，从创立之初便致力于以自然语言处理技术为基础，积极探索大模型技术的应用与发展，助力企业实现高效的数字化转型。未来，澜舟科技将继续致力于创新和优化孟子大模型的性能和功能，为用户提供更加灵活、智能化的解决方案，满足不同行业和场景下的需求。：以自然语言处理技术为基础的认知智能公司，助力企业实现高效的数字化转型。
2023-07-25 18:17:57
161
原创 澜舟科技同360牵头的多家产业链龙头企业，共同发起成立GPT产业联盟
6月28日，由中国互联网协会、中国信息通信研究院云大所、三六零(601360.SH,下称“360”)联合主办的“GPT产业联盟成立大会”在北京召开。作为代表同360联合的智谱AI、华为云、商汤科技、创业黑马、出门问问、云知声、中关村龙门加速器等多家产业链企业共同宣布GPT产业联盟正式成立。未来，联盟将通过发展100家行业合作伙伴、携手1000家GPT应用生态合作伙伴，为百万家客户提供GPT一站式服务，加速GPT产业发展。
2023-07-25 18:08:48
272
原创 WAIC2023精彩回顾｜澜舟科技首次亮相WAIC，孟子大模型专注垂直领域专业赛道
基于这些思考，澜舟科技提出孟子大模型“L1-L2-L3”三级服务体系，以通用大模型为底座，加入行业知识构建行业模型，再基于行业模型，将常见的任务融入进去，从通用模型到行业模型，再到企业具体的场景模型，从而进一步提供更好的企业服务。相信未来，大模型将成为各行各业的基础模型，通过云计算、本地部署和端，成为企业服务中枢。该计划旨在打造高质量语料库，围绕语料数据共建数商生态，引导不同行业、领域具有一定规模的高质量语料数据产品挂牌交易，推动人工智能大模型技术创新与应用落地，丰富语料库多样性，助力数据要素市场建设。
2023-07-25 17:55:20
268
转载 钛媒体专访｜对话澜舟科技周明：大模型炒作过热，创业公司要选好赛道
此外，不同的大公司都有自己的不同生态，也不会用其他公司的生态。比如一家公司的社会关系网络做得好，大概不会用某个搜索公司的大模型，或者电商做得好的人，也不愿意将自己的模型提供给有竞争关系的公司使用，反之亦然。To B存在很多新的创业机会，包括对客户、行业的理解，客户与大模型团队的互动，形成某种意义上的战略合作伙伴，或者形成所谓数据飞轮、功能飞轮，做得越深，相应的壁垒就越高。他认为，行业厂商要根据自己的能力，选好不同的赛道，比如To C是一个赛道，To B是一个赛道，To Developer可能也是一个赛道。
2023-07-25 17:34:51
151
转载 「大模型之家」对话澜舟科技创始人兼CEO周明：马上采取行动，拥抱大模型
澜舟科技也分别与中文在线、华夏基金、引力传媒和传神公司等行业头部企业或机构合作，研发了针对各个领域的行业大模型，引入了行业相关的数据和知识，设计了针对性的预训练任务，提高了模型的精度和效率。这也说明，行业大模型相比通用大模型将给企业带来更加精准的解决方案，并且从成本角度出发，更有针对性地选择大模型，在降低模型部署、运行、数据标注、模型训练等方面都能实现提高效率和降低成本。同时也要考虑模型的规模和成本，不盲目追求千亿模型，而是根据企业用户的需求和推理效率来选择合适的模型大小。通过对比技能与规模，
2023-07-25 17:04:46
194
原创 澜舟科技成立两周年｜“孟子GPT”大模型开启邀测
孟子金融大模型采用更多金融领域的数据进行自监督训练，同时通过模型标注和人工标注的方法构建了数百万条涵盖金融下游任务的指令训练数据，从语言理解到语言生成，涵盖实体识别、情感分析、信息抽取、文本理解、文本生成、文本翻译、智能对话、智能问答等多个方面。两年间，澜舟科技积极探索大模型技术的应用和发展，坚持技术积累和业务验证，完成孟子大模型系列品牌建设。针对金融任务，利用高质量金融领域数据和任务训练的模型，比同等级别参数的通用模型性能更优，甚至更少参数量的金融模型可以取得比更多参数量的通用模型更优的性能。
2023-07-25 15:55:52
432
原创 AIIA杭州大会｜李京梅：基于孟子GPT生成式大模型的技术与行业应用实践
近日，杭州通用人工智能论坛在未来科技城顺利举办，本次论坛由中国信息通信研究院（以下简称中国信通院）、浙江省经济和信息化厅、杭州市人民政府、中国人工智能产业发展联盟共同主办，共同探讨大模型应用现状、大模型赋能行业应用、展望大模型发展趋势等重点关注问题。发布于创业之初的孟子通用预训练模型，随即完成了营销文案生成和金融领域两种落地场景应用，同时登顶CLUE榜单，完成技术能力验证，经过两年发展，澜舟科技逐步优化完善孟子大模型技术品牌，类比如今如雨后春笋般发布的大模型，澜舟科技孟子大模型具备。作为一家认知智能企业，
2023-07-25 15:10:16
248
原创 澜舟科技周明：进入AI 2.0不代表一定要抛弃1.0的技术
ChatGPT 出现后，涌现了单模型、单任务永远出不来的能力，于是迈入 AI2.0 时代，它的特点是一个模型 N 个任务，未来甚至一个模型可以解决无穷个任务。不用非得做 ChatGPT，在 AIGC 领域重点突出关键词生成、自定义模版、文图工作等能力，把模型做得又轻又好，再结合用户需求，企业数据就能巧妙利用起来。企业应该试图把 AI1.0 功能引擎和 AI2.0 部分能力（如问题理解和多轮对话的能力）无缝对接起来，形成一纵一横的合力，练模型的团队和用模型的团队持续产生交互，共同提升效率。
2023-03-30 17:51:08
257
转载 图文实录｜澜舟科技合伙人李京梅：基于预训练模型的 AIGC 技术与应用实践
目前，澜舟科技也有一些初步的研究成果，比如可控的文图生成的风格控制，举个例子，生成一种国画风，也是用到 Stable Diffusion，但中间也会做一些训练进行反哺，就是有一个 Discriminator 判别器，中间有人员参与挑选生成的图片，然后告知模型生成的图片中有哪些是符合国画风的，哪些是不符合的，即把正确的结果再反哺给 Stable Diffusion ，如此训练出来的模型再去推理时，效果就会接近想要的风格。可以说，澜舟在文学辅助写作上的 AIGC 的能力放到了小程序中，有兴趣的都可以试一试。
2023-02-27 13:57:42
453
原创 图文实录｜UIE：基于统一结构生成的通用信息抽取
第二期澜舟分享会邀请到来自中科院软件所中文信息处理实验室研究员韩先培分享演讲“UIE：基于统一结构生成的通用信息抽取”。
2022-11-17 17:46:34
1250
原创 图文实录｜大规模预训练模型：探讨与展望
第二期「澜舟分享会」我们邀请到来自复旦大学计算机学院邱锡鹏教授分享了“大规模预训练模型：探讨与展望”，本此演讲主要围绕大规模预训练语言模型展开讨论，并探讨大模型成功的原因、适用场景、未来发展方向以及身处大模型时代我们的机遇。
2022-11-17 17:23:50
988
原创 图文实录｜多模态自然语言处理最新进展
本文根据段楠老师在「澜舟NLP分享会」上的演讲整理。文内梳理了视觉语言预训练近期工作，并分享了微软亚洲研究院在视觉语言预训练模型和视觉合成方面的研究。
2022-09-02 17:54:16
974
原创 预训练模型在金融 NLP场景下的应用
近三年来，大规模预训练模型深入应用于金融场景中，大幅度地提升了业务系统的开发效率。本次报告将分享目前大模型技术在金融场景下的应用现状及未来发展趋势，并介绍澜舟团队基于孟子轻量化模型支持金融场景并通过SaaS输出各项标准 NLP 能力的技术进展。
2022-09-02 16:34:46
1604
原创 基于预训练模型的金融事件分析及应用
本文根据马永亮在「澜舟NLP分享会」上的演讲整理，文内介绍了金融事件分析相关技术背景以及澜舟目前的工作进展。全文约3800字，预计阅读时长8分钟。
2022-09-01 10:20:55
567
原创 澜舟认知智能平台开启公测，8 大 NLP 能力接口免费试用！
澜舟认知智能平台正式开启公测，基于自然语言处理（NLP）技术提供开箱即用的 SaaS 服务，首期开放机器翻译、文学辅助创作、金融认知智能、语言基础服务 4 大场景下的 8 个 API 能力接口，欢迎大家使用和反馈！
2022-08-23 14:39:41
571
原创 孟子轻量化多任务模型已开源，登顶 ZeroCLUE 和 FewCLUE 榜单
经过五个月的开发和场景打磨，孟子多任务模型正式开源，提供出色的 Zero-Shot 及 Few-Shot能力。
2022-08-23 14:30:12
585
1
原创 大模型落地实践：同花顺大模型技术应用及优化
众所周知，大模型参数量大，通用能力强，综合性能好，但是在工业界落地上有一些难点。文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。
2022-08-11 14:35:58
2620
原创 NLP 论文领读｜无参数机器翻译遇上对比学习：效率和性能我全都要！
检索式增强主要目的是基于一定的检索范式来利用现存数据，影响模型最终得到的结果，从而降低模型参数的负担。本文我们聚焦在机器翻译领域，看看在机器翻译中最新的利用检索来进行增强的范式！...
2022-08-05 13:43:53
391
原创 澜舟孟子轻量化预训练模型技术实践 ｜ NLP 前沿实践
本文介绍了大模型轻量化技术背景，并分享了澜舟轻量化技术实践的 5 种路径，包括语言学知识增强、训练优化技术、模型压缩（蒸馏、剪枝和量化）、检索增强、多任务。
2022-07-29 14:41:09
551
原创 2022 年中回顾｜一文看懂预训练模型最新进展
本文回顾了过去 12 个月以来，国内外大模型的发展趋势，包括百花齐放的国产大模型、新秀不断涌现的多模态模型、萌芽中的通用能力模型等等，并对大模型新应用、预训练框架等方面的进展进行了总结。......
2022-07-25 10:30:29
1748
原创 NLP 论文领读｜ 面向机器翻译的多语言预训练技术哪家强？最新进展一睹为快！
多语言预训练为跨语言生成任务提供了优良的参数初始化，当多语言预训练之风吹向机器翻译领域，又将发生怎样有趣的化学反应？
2022-07-19 16:55:34
486
原创 NLP 论文领读｜中文拼写纠错：怎样改善模型对 multi-typo 的纠正效果？
拼写纠错在诸多 NLP 任务和应用中都有重要作用，如 OCR、语音识别和搜索引擎等。在 NLP 任务和日常工作生活场景中，中文文本中的 typo 主要是拼音和字形相似导致的
2022-07-08 15:35:59
310
原创 华夏基金与澜舟科技成立金融 NLP 联合实验室，共促金融科技创新
近日，境内头部基金公司华夏基金与 NLP/AI 领域领先者北京澜舟科技签署战略合作协议，成立金融 NLP（自然语言处理）联合实验室，合作探索自然语言处理技术在金融领域的应用；合作建设基于华夏基金投资研究逻辑的舆情 NLP 能力；合作打造基于深度学习和预训练模型的金融行业搜索引擎，同时计划在其他数字化建设、创新技术合作、业务应用等方面展开合作。华夏基金首席数据官陈一昕，澜舟科技创始人兼首席执行官周明博士分别代表双方在北京签约。华夏基金首席数据官陈一昕表示，科技创新是发展数字经济的核心源动力。金融行业如何促进科
2022-07-07 11:45:05
162
原创 NLP 论文领读｜文本生成模型退化怎么办？SimCTG 告诉你答案
重复生成是长文本生成中很常见的现象，论文中提出一种 SimCTG 方法，通过抑制模型生成不自然且包含不必要重复的文本，从而缓解文本生成模型的退化问题。
2022-07-04 17:25:34
486
原创 NLP 论文领读｜改善意图识别的语义表示：有监督预训练中的各向同性正则化方法
意图识别（intent detection）是面向任务对话系统的核心模块，其标注数据较少，所以研究怎样用少量数据训练出一个优秀的意图分类器（few-shot intent detection）有着很高的实用价值。
2022-06-23 14:25:09
772
原创 NLP 论文领读 | Seq2Seq一统江湖？谷歌提出全新端到端检索范式DSI，它才是检索模型的未来？
近日，来自谷歌研究院的研究人员提出了一种基于Seq2Seq的端到端检索架构DSI，并取得了不错的检索效果。接下来就让我们一起来看看这篇论文，它是否能够代表未来检索模型的发展方向呢？
2022-06-20 13:28:55
386
原创 NLP 论文领读｜合成数据的妙用：低成本构建高质量的大规模平行语料
人工构建高质量平行数据是一件成本巨大的事情，且几乎不可能满足目前神经机器翻译对数据量的需求。因此人们尝试通过自动构建平行数据的技术。该论文利用合成数据，对挖掘得到的平行数据中不完全对齐的数据进行替换，从而得到高质量的平行语料。......
2022-06-15 19:49:55
566
原创 从感知智能跨越到认知智能，NLP领域要做哪些创新？
认知智能到底要解决什么问题呢？实际上，认知智能要解决语言理解、问题求解、辅助决策和预测规划问题，它还有非常广泛的应用，从机器翻译到搜索、聊天、专家系统、广告、情感分析、对话、信息抽取、故障诊断、推理、知识图谱、情感计算等。...
2022-06-14 11:20:30
606
原创 NLP 论文领读 | Seq2Seq一统江湖？谷歌提出全新端到端检索范式DSI，它才是检索模型的未来？
近日来自谷歌研究院的研究人员就发表了一篇名为《Transformer Memory as a Differentiable Search Index》的论文，提出了一种基于Seq2Seq的端到端检索架构DSI，并取得了不错的检索效果。
2022-06-13 14:42:33
486
原创 NLP 论文领读 ｜ 缺少有标注的数据集怎么训练文本检索模型？来看看 LaPraDoR怎么做的吧
本文带领大家阅读了 ACL 2022 的一篇论文，论文提出了 LaPraDoR——一种无监督预训练模型，在 BEIR 评测集上达到了 SOTA 水平。
2022-06-13 10:11:41
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人