- 博客(255)
- 收藏
- 关注
RSS订阅原创 LLM大模型部署的最佳实践
大型语言模型 (LLM) 彻底改变了自然语言处理和理解领域，实现了跨各个领域的广泛人工智能应用。然而，在生产中部署 LLM 应用程序也面临着一系列挑战。在部署 LLM 应用程序时，成本和延迟考虑至关重要。较长的提示会增加推理成本，而输出的长度会直接影响延迟。在整合LLM时可以采用不同的方法，例如提示、微调和提示调整。提示是一种快速简单的方法，只需要几个示例，而微调可以增强模型性能，但需要更大的数据量。提示和微调的结合，称为提示调整，提供了一种有希望的平衡方法。
2024-06-29 21:46:28
916
原创 使用 OpenLLM 构建和部署大模型应用
BentoML专注于提供机器学习基础设施。核心产品是与公司同名的开源框架BentoML。公司总部位于旧金山湾区，在国内也有众多远程工作的同事。通过不断努力，公司获得了众多客户的认可。
2024-06-29 21:45:03
872
原创 大模型LLM的企业应用
自从ChatGPT问世以来，企业正在消化这项新技术以及他们如何能够利用它。LLM带来了一系列新的能力，使企业能够做以前不可能做到的事情。另一方面，LLM也带来了一系列新的挑战和未知因素。
2024-06-29 21:35:42
871
原创 LLM大模型开发生态总结与应用思考
通过以上的思考，逐渐认识到LLM与实际问题，在两个方面存在矛盾：• 精确性：结构化的数据、精确的数据• 实时性：没有修改和确认的机会大模型可理解很多语意，但无法实现精确性。于是我得出结论：凡是需要精确且实时的系统，都无法直接使用LLM。只有在不精确和离线环节下，大模型才有用武之地。
2024-06-29 21:31:41
739
原创 中国AI大模型密集“出海”
国内AI正在“出海”，月之暗面被曝进军海外市场，而更早出海的另一国内头部大模型公司MiniMax，则已经实现了初步的市场占领。如何靠找到合适的商业模式，实现自我造血，无疑是摆在一众AI2.0时期的创业企业面前最紧迫的任务。中国AI2.0企业正在“出海”。据海外媒体the Information报道，月之暗面正在为进军美国市场做准备，该公司正致力开发近期在美推出的产品，包括一款AI角色扮演聊天应用程序，以及音乐视频生成器。
2024-06-25 15:29:22
577
原创 从 CLM 启航：中国大模型的探索与未来
6月19日，CLM进入第二天，与大模型关系密切的12个专委会，将围绕大模型与各自领域的结合分成12个专场进行进一步的深入探讨。这也再次说明，这次会议不仅是对过去几年中国大模型技术发展的回顾，更是对未来方向的探索和思考。通过CLM大会这个平台，我们见证了大模型技术如何为NLP领域带来革命性的变化，以及中国学者在这一过程中的重要贡献。中国中文信息学会，作为本次大会的主办方，发挥了关键的指导和引领作用，促进了大模型研究的进步、学术交流和知识共享。大模型技术的崛起，为NLP带来了前所未有的研究深度和应用广度。
2024-06-25 15:25:21
797
原创 从0入门大模型，看这5本就够了！
随着人工智能技术的飞速发展，大模型已经成为推动这一领域进步的核心力量。它们通过处理海量数据，学习复杂的模式和关系，为各种应用提供了强大的智能支持。从语音识别到自动驾驶，再到个性化推荐系统，大模型正在不断地改变我们的生活和工作方式。然而，对于初学者来说，大模型的世界可能显得既神秘又难以接近。熟练掌握大模型的知识和技能在未来职场将是一项基本要求。无论是为了提升自己的技术能力，还是为了在职场上保持竞争力，了解和应用大模型都十分有必要。
2024-06-25 15:22:18
852
原创 AI大模型的制造业场景，一文读懂
德国、日本与美国制造业差距的扩大，在微观上主要表现为制造业领域缺乏一批有竞争力的数字原生企业。德国“工业4.0”目标并没有实现，与预期差距较大，中小企业数字化进展缓慢，研究表明只有21%的中小企业在生产中使用了数字技术，也没有成长出一批数字时代有竞争力的中小企业。日本的情况与德国类似，日本经历了“失去的二十年”，同样没有培养出一批数字原生企业。
2024-06-25 15:20:10
881
原创 现身说法，AI小白的大模型学习路径
写这篇文章的初衷：作为一个AI小白，把我自己学习大模型的学习路径还原出来，包括理解的逻辑、看到的比较好的学习材料，通过一篇文章给串起来，对大模型建立起一个相对体系化的认知，才能够在扑面而来的大模型时代，看出点门道。为什么要写这篇文章？首先我关注到了两个变化。
2024-06-25 14:52:30
776
原创 中石油、巴斯夫、壳牌等能源化工企业加速落地大模型
近期，能源化工领域公开多起合作。6月11日，贵州磷化集团与华为签署战略合作协议，在企业数字化转型、集团信息化、矿山化工领域智能化建设、人才培养等方面开展持续深化合作，共同探索磷化工行业的创新发展之路。6月12日，华为管理层人士公开表示，华为支持煤矿、矿山、化工领域拥抱人工智能，利用其在人工智能领域的根技术优势，为行业提供坚实的算力底座，用根技术打造坚实的算力底座，发展人才，并将坚持以AI技术推动合作伙伴智能化转型、优化生产效率。
2024-06-23 12:30:00
538
原创 国内 AI大模型产业发展深度分析 2024
文心一言是百度研发的人工智能大语言模型产品，具备跨模态、跨语言的深度语义理解与生成能力，在文学创作、文案创作、搜索问答、多模态生成、数理逻辑推算等众多领域都能为用户提供高质量服务。文心一言拥有四大基础能力：理解能力、生成能力、逻辑能力、记忆能力。（2）大模型优势：2023 年 10 月发布的“文心大模型 4.0”，相比上一代文心大模型，四大能力显著升级，其中逻辑提升幅度是理解的 3 倍，记忆提升幅度是理解的 2 倍。
2024-06-23 12:15:00
875
原创 大模型落地，如何跨过数据这道坎？
很多企业在推出生成式AI应用后会发现，基础大模型的频繁调用会导致成本的增加和响应的延迟。但如果将之前问答生成的新数据存入缓存，不调用模型，而直接通过缓存给出回答，就能够减少模型调用，还可以节约成本。Amazon Memory DB内存数据库就是这样一种工具，能够存储数百万个向量，只需要几毫秒的响应时间，就能够以99%的召回率实现每秒百万次的查询性能。
2024-06-23 11:45:00
520
原创 大模型在机器视觉行业的落地路径
在大模型火之前，机器视觉，是近5年来讲AI、用AI最多，最频繁的行业。业内一些公司，也靠AI赚到了真金白银。2023年，GPT横空出世，举世沸腾，海量资金疯狂入场大模型赛道。但和AI纠缠了5年多的机器视觉行业，对大模型，似乎没那么热情。行业很分散，应用很垂直，难通用。中小玩家众多，大模型对中小企业而言，就是奢侈品：一年的利润不够买一台H100（小几百万）。短期看，大模型对行业的影响有限；但长期看（5-10年），更聪明、更灵活、更通用的AI，将给视觉行业带来巨大的变革。
2024-06-22 13:00:00
635
原创 如何破解大模型应用有场景但落地难的问题？
许多大模型在场景中有很多潜在的应用，但在实际落地中常常会面临着各种各样的挑战和困难。具体而言，大模型通常需要大量的高质量数据进行训练，收集、整理和标注这些数据可能需要耗费大量的时间和资源，数据的质量和多样性对大模型的性能有很大影响。训练大模型需要强大的计算资源，包括计算能力和内存，这可能需要大量的资金投入和时间等待来建设和维护相应的基础设施。大模型通常具有复杂的结构和参数，这使得它们在部署和应用时具有一定的难度，模型的解释性、可扩展性和可维护性等问题也需要认真考虑。
2024-06-22 12:30:00
1412
原创 工业大模型为何要落地很难？
AI大模型的落地关键，是解决技术与应用场景间的鸿沟。这涉及如何使大模型更好地适应特定的工业应用场景，以及如何克服不同模型和算力平台特性的差异带来的现实挑战。另外，在高精度要求行业中，应用场景适应性问题难度更大。
2024-06-22 11:30:00
805
原创 大模型落地应用正在改变云计算行业的竞争
目前，大模型在产业端落地的模式主要有两种，一种是企业进行私有化部署，这种模式的安全性和隐私性较高，但企业需要非常高昂的算力成本；另一种是企业通过公有云+API调用的模式，成本更低，灵活性也更高。在金融、医疗等对安全性和合规性要求较高的领域，一些企业选择了私有化部署，但在更广泛的领域中，公有云+API调用模式成为企业使用大模型的主流方式。这种全新的需求也在改变云计算行业的竞争方向。
2024-06-21 17:30:21
1121
原创 大模型探索产业化落地新路径
以前的人机交互是命令式的、用户界面式的，属于“教什么会什么”，而大模型下的人机交互则是人们可以用自然语言与电脑、手机交互，属于生成式的，而且“不教也能学会”。
2024-06-21 16:20:29
925
原创 中国大模型落地进展如何？
在ChatGPT爆发之后，国内外科技赛道都被掀起了巨大波澜，随后在国内这段时间里，大量的大模型争先恐后地出现。那么截止到现在，大模型在国内土壤落地得怎么样了？一起来看看本文的解读。距离ChatGPT爆发的那一天，已经过去8个月了。8个月的时间，中国诸多大模型拔地而起，以飞快的速度，不断向各个行业场景渗透。但就目前为止，并未出现真正被大模型颠覆的场景或行业。统计数据显示，在大模型落地应用中，一个值得被看见的问题是：如今在中国的土壤里，大模型的落地进展究竟如何？
2024-06-21 16:18:21
1019
原创 大模型现状及行业落地趋势分析
以2022年底美国OpenAI公司发布ChatGPT产品为标志，AI技术从感知判别，向生成创造发展，以大模型为代表的AI技术发展迈向新阶段。2023年以来，如果IT圈里还有不知道大模型的，那么他一定是个IT菜鸟。国内几乎大部分科技公司、学术团体、研究机构、以及学生团队都在发布各自的大模型，国产大模型一时间呈现出遍地开花，井喷式发展状态。大模型突然从洛阳纸贵到了唾手可得，AI从业者从前几年几乎无人问津，突然变得炙手可热。根据一些公开资料，截止2023年底国内已经发布了近300个大模型，呈现“百模大战”乱局。
2024-06-21 16:16:05
734
原创 中医药人工智能大模型正式启动
6月15日，在横琴粤澳深度合作区举行的中医药广东省实验室（以下简称横琴实验室）第一届学术委员会第一次会议暨首届横琴中医药科技创新大会上，中医药横琴大模型、中药新药智能自动化融合创新平台同时启动。这也是该实验室揭牌半年来取得的新进展。2023年12月，横琴实验室正式揭牌成立，成为广东省实验室体系中的一员。该实验室由横琴粤澳深度合作区牵头、珠海市共建，广州中医药大学、广东省中医药科学院（广东省中医院）为主要参建单位。“中医药是一套复杂的科学体系，更需要用科学原理解读之。
2024-06-19 15:05:19
739
原创 企业构建AI大模型应用的步骤流程与关键问题解析
如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！😝有需要的小伙伴，可以保存图片到免费领取【保证100%免费】🆓。
2024-06-19 15:01:18
693
原创 最新！AI大模型的研究热点！
在人工智能的浪潮中，大模型研究如日中天，涵盖诸多研究方向，每个方向均承载着独特的研究焦点与挑战。以下，，这些方向致力于攻克大模型在实际应用中的核心难题，进而提升其性能与实用性。检索增强生成RAG凭借信息检索与文本生成的有机结合，显著提升了AI系统的效能。其核心优势在于，能够借助外部知识库辅佐生成过程，确保生成内容的精准度与鲁棒性。结合大模型所具备的卓越生成能力，RAG在问答系统、文档生成、自动摘要、智能助手、信息检索以及知识图谱填充等诸多自然语言处理场景中均展现出强大的应用潜力。
2024-06-19 14:58:54
816
原创 大模型时代下，企业需要什么云？
开年来，随着ChatGPT的狂飙，引发了一轮全球的大模型热，各方资金蜂拥而入。ChatGPT能够成为火爆全球的顶流模型，除了自身强大的创新能力，也离不开强大算力的支持，这背后是耗资数亿美元，用了英伟达数万颗A100的微软超级计算机。一个有意思的现象是，打造出ChatGPT的明星公司OpenAI依然处于烧钱赚吆喝的巨亏状态，提供核心算力芯片的英伟达却是赚得钵满盘满，今年来股价已经翻番，市值破万亿美元。可以说，随着大模型时代到来，给整个产业链都带来了新的挑战和机遇，甚至有人惊呼第四次科学技术革命到来了。
2024-06-19 14:54:51
700
原创 企业如何构建一个领域大模型？
领域大模型已成为大模型必然的发展趋势，基于领域数据的标注和模型微调将成为企业的重中之重。目前公认的模式是由大公司提供基础大模型，细分领域的公司选择一个符合自己业务需求的基础大模型，在此基础上进行微调，精确解决领域任务。领域大模型的落地步骤可拆分为。企业需要建立指标体系进行基座选型，例如准确率、召回率、安全性、可解释性、稳定性、成本等，通过量化的指标评估对比多个大模型。以参数量过大会导致精调和部署成本提升，而参数量过小的模型能力较差，100-500亿参数量的大模型较为适中。
2024-06-19 11:57:45
1175
原创 企业如何建立自己的专属大模型？
向量数据库因为AI大模型最近很火。向量数据库是一种专门用于存储、 管理、查询、检索向量的数据库，主要应用于人工智能、机器学习、数据挖掘等领域。向量是一组数值，可以表示一个点在多维空间中的位置。简单理解就是在AI的世界中，处理的所有数据都是向量的形式，比如“我爱吃荔枝”，在大模型处理的过程中，计算机会转化为向量的形式：我:[0.1, 0.3, -0.2, …, -0.1]喜欢:[-0.3, 0.5, 0.2, …, 0.4]吃:[0.4, -0.1, 0.2, …, -0.3]
2024-06-19 11:56:02
654
原创 企业应对大模型的策略及方法
随着ChatGPT的持续炒热，For to B的大模型也推到了风口浪尖。未来大模型的赛道将转向to B的大模型，企业更应关注的是：如何站在通用大模型的肩膀上，基于自身的业务和数据打造出独特的行业大模型，从而获得差异化竞争力。一、大模型会向垂直化、行业化、企业化，甚至个人化发展大模型的战事，已经开始从通用大模型，迅速卷向面向垂直领域的行业大模型。正如李彦宏所说：“未来所有的应用都将基于大模型来开发，每一个行业都应该有属于自己的大模型，大模型会催生AI原生应用。
2024-06-19 11:53:43
847
原创 大模型“补丁”合规：提示工程、微调和RAG
在大模型系统中，提示工程（Prompt Engineering）、微调（Fine-tuning）和检索增强生成（Retrieval Augmented Generation，RAG）分别扮演了不同但互补的角色，共同组成了大模型产品的三叉戟补丁升级路径。OPENAI在其大模型优化指南中提出了一个基本线性流程，从提示工程开始，然后转到检索增强生成，最后再进行微调。但是，OPENAI认为大模型的优化不仅仅只是一个前后顺序或者不同的方式，更重要的仍然是不同方法之间的杠杆比例运用。
2024-06-19 11:45:55
772
原创 国内20家公司大模型岗位面试经验汇总
淘天集团的大模型研究将主要围绕两个场景展开：一是搜广推，二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。
2024-06-19 11:42:52
862
原创 企服大模型，加速AI场景落地
2022年年底，OpenAI推出ChatGPT引发全球热潮，加速AIGC技术和应用的发展，标志着人工智能进入普及应用阶段。AIGC作为人工智能技术的重要组成部分，在商业社会中扮演着越来越重要的角色。在诸多AIGC工具中，基于GPT的应用可以让用户通过自然语言快速生成应用和内容，包括低代码、RPA等工具也可以借助GPT自动生成用户需要的程序。这些工具的出现，让生成式应用出现倍数级增长。用友网络董事长兼CEO王文京表示：“基于大模型的生成式人工智能是人工智能技术和应用的最新发展潮流。
2024-06-19 11:36:18
811
原创 医疗大模型，巨头们的新赛场
配图来自Canva可画说起近两年最热门的话题，那一定非大模型莫属了。众所周知，伴随着ChatGPT的强势出圈，全球范围内掀起了一波人工智能热潮，国内外的诸多企业都开足马力，推出了自己的大模型产品。而AI大模型产品的不断问世，也上演了一番“百模大战”的盛况。随着越来越多AI大模型产品的相继推出，AI大模型的落地应用也逐渐提上了日程，成为了各行各业的重点关注方向。值得注意的是，除了通用大模型之外，针对细分行业的垂直大模型数量也日渐增多，医疗场景更是受到各方关注的重点领域。
2024-06-18 16:20:17
1170
原创 大模型在医疗行业中的应用
模型在医疗方面的应用正逐渐深入，为医疗领域带来了革命性的变革。以下是关于大模型在医疗方面应用的详细概述：一、疾病诊断和预测二、药物研发和发现三、个体化治疗方案四、医疗影像分析五、其他应用总结来说，大模型在医疗领域的应用正逐渐深入，从疾病诊断和预测、药物研发和发现、个体化治疗方案、医疗影像分析等多个方面为医疗行业带来了革命性的变革。随着技术的不断发展和完善，相信大模型在医疗领域的应用将会越来越广泛，为全球公众的健康保障作出更大的贡献。如果你是零基础小白，想快速入门大模型是可以考虑的。
2024-06-18 16:18:30
425
原创 AI大模型如何赋能医疗行业场景？
大模型与医疗行业，有着天然的契合性。医疗领域存在大量模态种类丰富的数据，且呈现出多学科、跨领域的特点。而大模型的长项就是对多类数据进行整合总结、分析判断和自动摘要。在前沿研究和企业布局的共同推动下，大模型扎根医疗，已经有了明朗的趋势。在保证医疗准确率和提升医疗系统工作效率方面，大模型有着可观的应用潜力。一项发表在《急诊医学年鉴》杂志上的研究发现，人工智能聊天机器人对病人的诊断效果不亚于训练有素的医生。
2024-06-18 16:17:30
784
原创 大语言模型在医疗领域的进展、应用和挑战
本文综述了医学领域大型语言模型（LLM）的进展、应用和面临的挑战。大型语言模型如ChatGPT在理解和生成人类语言方面显示出了显著的能力，引起了广泛关注。在医学领域，研究人员正致力于利用LLM支持各种医疗任务，如提高临床诊断质量、提供医疗教育等。尽管医疗LLM已取得了令人鼓舞的成果，但其开发和应用仍面临着挑战。本综述旨在全面回顾医学LLM的发展和部署情况，包括其面临的挑战和机遇。在开发方面，我们详细介绍了现有医学LLM的基本模型结构、参数数量、以及模型开发所用的数据源和规模。
2024-06-18 16:14:50
1017
原创 人工智能大模型在医疗领域的应用进展与前景
随着人工智能技术的进步和深度学习算法的发展，以及海量多模态数据的爆炸式增长，芯片、网络、算力等基础建设的持续增强，大模型也迎来了快速发展机遇。2014年生成对抗网络 GAN（Generative Adversarial Network）的出现，推动了生成式人工智能的革命性发展，随后以 Transforme、BERT为代表的预训练模型的诞生，颠覆了以往的深度学习模型网络结构，大幅提高了模型训练速度和对多模态感知、创作和推理的能力，同时模型的参数量级也从百万级跃升到了百亿级，甚至出现了千亿级大模型。
2024-06-18 16:13:23
1191
原创 AI大型语言模型在商业智能（BI）领域的实际应用
图：SugarBI 自助分析的整体技术架构腾讯DataBrain腾讯的DataBrain团队在推出GPT4后，尝试利用其能力构建了一个服务于DataBrain系统的统一语言智能助手示例——ChatBI。这个智能助手让用户可以在统一的语言交互界面完成整个数据分析过程。与京东的ChatBI相似，目前这个产品仅供腾讯内部使用。
2024-06-18 16:11:06
951
原创 【LLM】对大语言模型微调优化的研究
论文来自Microsoft。微调大语言模型是用户尝试将其适应特定应用的流行选择。然而，微调这些模型是一项艰巨的任务，因为用户必须考虑多种因素，如资源预算、运行时间、模型大小和上下文长度等。一个具体挑战是微调过程对内存的需求很大，这限制了所需的硬件内存和能够处理的训练数据上下文长度。论文分享了针对不同微调场景的各种微调优化的详细研究。
2024-06-18 16:00:24
714
原创 AI大模型的指令微调
有监督微调（Supervised Finetuning，SFT）又称指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，使模型具备遵循指令的能力。由于大语言模型的参数量十分庞大，当将其应用到下游任务时，微调全部参数需要相当高的算力。为了节省成本，研究人员提出了多种参数高效（Parameter Efficient）的微调方法，旨在仅训练少量参数使模型适应到下游任务。
2024-06-18 15:57:53
345
原创 大模型学习笔记-微调技术
其实在之前已经有预训练模型的一些概念了。比如CNN、RNN等。其大概原理是每次训练，与目标值计算得出损失值，反向传播驱动模型迭代更新，使得下一代迭代更精确。
2024-06-18 15:56:05
692
原创 大模型笔记！以LLAMA为例，快速入门LLM的推理过程
llama是LLM（LLM指大语言模型）模型的一种结构，llama这种模型的任务就是在阅读前n个单词后预测句子中下一个单词，输出取决于过去和现在输入，与未来无关。过程大概是这样，每次输入模型会带上上一次输出的结果（不同于CV模型，CV模型输入只需要一次即可，一次推理即可得到结果）：LLM-生成一般来说，LLM模型主要由两个块组成：编码器（左侧）：编码器接收输入并构建其表示形式（特征）。这意味着该模型被优化为从输入中获取理解（比如输入文本判断这段话是高兴还是难受）。
2024-06-18 15:53:53
592
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人