垂直领域大模型的一些思考及开源模型汇总

已于 2023-09-25 23:29:24 修改
阅读量596 收藏
点赞数
分类专栏： # LLM/经典模型 文章标签： LLM
于 2023-09-25 23:21:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133283548
版权
本文从ChatLaw出发，探讨垂直领域大模型的重要性，并汇总了医疗、法律、金融、教育四大领域的开源垂直大模型。ChatLaw在法律领域展现出优秀的产品形态，其专业模式借助知识库提供精准答案。作者认为垂直领域大模型需要从Pre-Train阶段做起，强调领域知识的重要性，并指出其在特定行业中的优势。文章列举了多个领域的开源模型，如MedicalGPT-zh、LaWGPT、FinGPT和EduChat，为读者提供了丰富的资源参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

迄今为止，应该没有人还怀疑大模型的能力吧？但目前大模型实现真正落地，其实还有一段艰难的路要走。

对于ToC端来说，广大群众的口味已经被ChatGPT给养叼了，市场基本上被ChatGPT吃的干干净净。虽然国内大厂在紧追不舍，但目前绝大多数都还在实行内测机制，大概率是不会广泛开放的（毕竟，各大厂还是主盯ToB、ToG市场的，从华为在WAIC的汇报就可以看出）。而对于ToB和ToG端来说，本地化部署、领域or行业内效果绝群、国产化无疑就成为了重要的考核指标。

个人觉得垂直领域大模型或者说大模型领域化、行业化才是大模型落地的核心要素。恰好前几天ChatLaw（一款法律领域大模型产品）也是大火，当时也是拿到了一手内测资格测试了一阵，也跟该模型的作者聊了很久。正好利用周末的时间，好好思考、梳理、汇总了一些垂直领域大模型内容。

文章内容将从ChatLaw展开、到垂直领域大模型的一些讨论、最后汇总一下现有的开源领域大模型。

聊聊对ChatLaw的看法

ChatLaw的出现，让我更加肯定未来大模型落地需要具有领域特性。相较于目前领域大模型，ChatLaw不仅仅是一个模型，而是一个经过设计的大模型领域产品，已经在法律

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM系列(5)：大模型本质以及微调实践Trick[无垂直行业模型，只有垂直行业应用 ]
丨汀、的博客
05-06 1041
LLM系列(5)：大模型本质以及微调实践Trick[无垂直行业模型，只有垂直行业应用 ]
垂直领域の大模型
whaosoft143ai的博客
11-14 1371
(1) 领域内问题的判别能力，对领域外的问题需要能拒识 (2) 基于召回的知识回答问题的能力 (3) 领域内风格对齐的能力，例如什么问题要简短回答什么问题要翔实回答，以及措辞风格要与领域内的专业人士对齐。的策略，即将预训练的数据(通用+金融领域)以及指令微调的数据(通用+金融领域)混合一起进行训练，而不是拆分成继续预训练+指令微调两个阶段，这样模型能很好回答金融领域的问题，也能保持对一般问题的作答。在专业的垂直领域，待检索的文档往往都是非常专业的表述，而用户的问题往往是非常不专业的白话表达。 whao
关于垂直领域大模型的探索和尝试
淘系技术
07-19 1089
在过去一年多的实践工作中，我们团队围绕大模型在专业领域的应用做了一些尝试和探索。在此也把这两年的一些技术经验分享出来，希望跟大家一起交流和探讨。垂直领域大模型的特点垂直领域大模型是指以通用大模型作为base model，再喂以特定领域或行业的领域知识，经过训练和优化的大语言模型。与通用语言模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。但因为一些特殊性（比如...
通用大模型 vs 垂直大模型：如何选择？一文看懂
最新发布
charles666666的博客
04-18 459
在AI技术爆炸式发展的今天，企业或开发者常面临一个关键选择：是采用“全能型”的通用大模型（如ChatGPT），还是“专精型”的垂直大模型（如医疗诊断AI）？本文将从定义、对比、选择逻辑、真实案例四个维度，用最通俗的语言拆解两者的差异与适用场景，助你做出科学决策。一、通用大模型 vs 垂直大模型：核心定义。二、核心对比：5大维度看清差异。五、未来趋势：融合才是王道。四、真实场景案例解析。
垂直领域大模型落地思考
机器学习社区
11-09 769
相比能做很多事，但每件事都马马虎虎的通用大模型；只能做一两件事，但这一两件事都能做好，可被信赖的垂直大模型会更有价值。这样的垂直大模型能帮助我们真正解决问题，提高生产效率。本文将系统介绍如何做一个垂直领域的大模型，包括继续预训练，领域微调数据构建，减缓幻觉，知识召回多个方面。也会介绍整体的系统设计，并串讲一系列相关的论文和产品。背景。
一口气说完！行业中各类先进的垂直大模型
2401_85375186的博客
12-31 2208
垂直大模型（也称为领域专用大模型或行业专用大模型）是针对特定行业或领域进行优化的大语言模型。相比于通用大模型，这些模型在特定领域的数据和知识上进行额外的训练，因此在该行业的任务上表现更优。MedPaLMMedPaLM 是谷歌开发的专注于医疗健康领域的大语言模型，基于其强大的 PaLM（Pathways Language Model）扩展优化而来。该模型专为医学问答、疾病诊断和医学文献分析等任务设计，能够通过理解医学文本提供专业的建议和参考，帮助医疗从业者和患者做出更准确的医疗决策。
浅谈垂直领域大模型
dzysunshine的博客
07-17 7445
在谈垂直领域大模型之前，我们先对目前的大模型做一个简单的梳理，看看大模型都有哪些。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4337
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
收集和梳理垂直领域的开源模型、数据集及评测基准。_Awesome-Domain-LLM.zip
09-16
本篇文章将对名为“收集和梳理垂直领域的开源模型、数据集及评测基准”的压缩包文件进行详细解读，旨在为专业人士提供一个垂直领域语言模型（LLM）的资源汇总，便于他们在特定领域进行深入研究和应用开发。...
探索开源大模型：ChatGPT的替代方案汇总
5. 垂直领域大模型的应用：垂直领域大模型被设计用来解决特定行业或领域的特殊问题，例如医疗图像分析、金融交易预测等。理解这些模型需要相关行业的知识背景，以便更好地收集和处理数据、优化模型结构和提高模型...
【AI落地工程技术】— 垂直领域大模型的构建
深耕AI领域，专注中、高人工智能领域发展；同步研究电磁学及超导材料、量子力学；关注能源发展和技术，同时进行医学创新
07-06 2034
在人工智能领域，通用大模型（如BERT、GPT系列等）以其强大的语言理解和生成能力，在多个任务上取得了显著成果。然而，为了进一步提高模型在特定垂直领域（如医疗、法律、金融等）的准确性和效率，需要对这些模型进行针对性的优化和调整。通过以上步骤和策略，可以更加全面和系统地将通用大模型应用于垂直领域。
ChatGPT之后，值得关注的垂直领域大模型
东南草堂
05-24 1853
垂直领域大模型是指在特定的领域或行业中经过训练和优化的大型语言模型。与通用语言模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。题图 from unsplash与通用大模型相比，垂直领域大模型具有以下优势和劣势：优势：领域专业性：垂直领域大模型经过专门的训练，能够更好地理解和处理特定领域的知识、术语和上下文。高质量输出：由于在特定领域中进行了优化，垂直领域大模...
AI热门垂直领域大模型盘点（附论文）
学姐带你玩AI的博客
06-20 4892
上回分享了一些，今天咱们就来聊聊垂直领域大模型，照旧附上论文资料，同学们自取哈！其实照目前的趋势来看，垂直领域大模型的未来发展是要比通用大模型好的，一是通用大模型有GPT4这座难以跨越的大山，二是自研通用大模型的成本实在太高，一般公司承受不来。所以，各类厂商们自然就会选择参与垂直领域大模型的角逐。目前卷出来的垂直领域大模型已经有很多了，我今天就来和大家分享几个比较出名的，感兴趣的同学也可以自己上手一试。
大模型必看：垂直领域大模型建设路径与实践场景全析
2401_85373691的博客
04-02 1526
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
浅谈大模型私有化+精调：面向垂直行业与特定场景之需
ytt0523_com的博客
05-15 1633
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
大模型及其应用系列第二篇——垂直大模型
2401_85325726的博客
03-05 1474
行业大模型是与基础大模型相对的概念，是指某个细分行业的大模型，比如制造业、金融行业，建筑业等等。当然，某个细分行业到底具体多细，并没有统一的标准。通常，基础大模型发展通识能力，比如“GPT”、字节的“云雀大模型”、"DeepSeek”大模型等；而垂直大模型发展专业能力，通常建立在通用大模型的基础上。因此，垂直大模型可以理解为，利用大模型技术，针对特定行业的数据和知识训练出针对某一行业的专业能力的大模型及其应用。大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
【大模型理论篇】大模型LLM在垂直领域的应用(RAG、微调等)分析
源泉的小广场
07-12 8232
大模型、RAG、检索增强生成、llm、自然语言处理、垂直领域、商业化、推荐、检索、匹配
垂直领域大模型微调的实战经验大揭秘
大数据指北
10-25 753
这段时间，一直在思考微调垂直大模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值