- 博客(30)
- 收藏
- 关注
RSS订阅原创 国内大型语言模型（LLM）的研发及突破性应用
随着人工智能技术的迅猛发展，大型语言模型（LLM）在国内外科技领域成为了热点话题。这些模型因其在文本生成、理解和处理方面的卓越能力，被广泛应用于各种行业和场景中。在中国，一批人工智能公司在LLM的研发与应用方面取得了显著的成就，推动了这一技术的创新和商业化。它们不仅在模型能力上达到甚至超过了国际标准，还在特定的技术细分领域实现了重要突破。LLM正成为推动行业创新和改善企业用户和个人用户体验的关键力量。
2024-06-29 21:37:17
703
原创 大模型LLM在Text2SQL上的应用实践
目前，大模型的一个热门应用方向Text2SQL，它可以帮助用户快速生成想要查询的SQL语句，再结合可视化技术可以降低使用数据的门槛，更便捷的支持决策。本文将从以下四个方面介绍LLM在Text2SQL应用上的基础实践。· Text2SQL概述· LangChain基础知识· 基于SQLDatabaseChain的Text2SQL实践· 后续计划。
2024-06-29 21:34:35
978
原创 【LLM】综述：大型模型在表格数据上的应用
语言模型（LM）是一种概率模型，用于预测单词序列中未来或缺失标记的生成可能性。赵等人（2023b）对LM的发展进行了全面审查，并将其划分为四个不同阶段：第一阶段是统计语言模型（SLM），它学习了来自先前单词的示例序列的单词出现概率（例如N-Gram），基于马尔可夫假设（Saul＆Pereira，1997）。尽管通过增加上下文窗口可以实现更准确的预测，但SML受到高维度和高计算需求的限制（Bengio等人，2000）。
2024-06-29 21:27:49
761
原创 LLM时代下的智能体
其实早有人类提出相关技术解决上述问题, 那就是智能体, 智能体（AI Agents或 Agents)，一般认为是一个可以通过行动能力自主完成设定的目标的代理。“智能体”是和“智能”密不可分的；它具备一些类似人的智能能力和行为，比如学习、推理、决策和执行能力。AI Agents的概念是早于。
2024-06-29 21:22:57
969
原创 【LLM】大语言模型在用户兴趣探索中的应用
传统的推荐系统通过学习和强化过去的用户-物品交互形成强烈的反馈循环，这反过来限制了新用户兴趣的发现。为了解决这一问题，论文引入了一种结合大型语言模型（LLMs）和经典推荐模型的混合层次框架，用于用户兴趣探索。该框架通过“兴趣集群”控制LLMs和经典推荐模型之间的接口，集群的粒度可以由算法设计者明确确定。该方法结合了LLMs在推理和泛化方面的优势，以及经典推荐模型的基础。它首先使用语言表示“兴趣集群”，并利用经过微调的LLM生成严格属于这些预定义集群的新兴趣描述。
2024-06-29 21:21:07
785
原创 大模型基础教程：一图尽览大模型知识点！
近年来，人工智能技术在全球范围内取得了显著的成果，特别是在计算机视觉、自然语言处理、语音识别等领域。这些成果的取得离不开大规模预训练模型的支撑。大模型通过在海量数据上进行预训练，能够捕捉到数据的深层次特征，从而在各类任务中取得优异的表现。如今，大模型已成为人工智能发展的重要方向，为各行各业带来了前所未有的变革。大模型，顾名思义，是指参数规模较大的预训练模型。这些模型通常具有数十亿甚至数千亿个参数，需要在大量硬件资源上进行训练。
2024-06-25 16:54:13
798
原创 大模型基础知识
随着算力和深度学习的发展，人工智能也逐渐进入新发展阶段，展现出前所未有的惊人生产力，为新一轮科技创新驱动注入强大活力和动力。大模型作为人工智能发展到一定阶段的产物，其智能化程度已远远高出我们先前的预期，正在以一种前所未有的力量去提升国计民生各领域的生产力。本文将就大模型的历史演变、当前发展阶段、关键核心技术和应用场景进行综述。一、大模型历史演进阶段大家都在谈，AI大模型的发展历经了三个阶段，即萌芽期、沉淀期和爆发期。但我想从另外一个维度来看待大模型的历史进程。为什么会出现大模型？
2024-06-25 16:53:35
698
原创 是时候深入学习下 AI 大模型技术了
刚刚结束的 YC Demo Day 上，。虽然 ChatGPT 已经没有之前那么火热，但其实，Llama2 开源后，企业能以更低的成本部署自己的私有模型，并且随着腾讯云向量数据库这样开箱即用的云产品陆续推出，落地大模型的门槛也已经变得越来越低，类 Copilot 的能力，正在融入到各种各样的产品之中。前段时间我参加钉钉的活动，有两个特性挺惊艳的。第一，大模型技术已经完全可以把表单这一层打掉了。
2024-06-25 16:52:13
558
原创 LLama3最新医疗大模型安装与应用指南
医疗领域的开源 LLM：OpenBioLLM-Llama3，在生物医学领域优于GPT-4、Gemini、Meditron-70B、Med-PaLM-1、Med-PaLM-2OpenBioLLM-Llama3有两个版本，分别是70B 和 8BOpenBioLLM-70B提供了SOTA性能，为同等规模模型设立了新的最先进水平OpenBioLLM-8B模型甚至超越了GPT-3.5、Gemini和Meditron-70B。
2024-06-25 16:51:34
730
原创 领域大模型之微调技术和最佳实践
BERT和 GPT-3 等语言模型针对语言任务进行了预训练。微调使它们适应特定领域，如营销、医疗保健、金融。在本指南中，您将了解 LLM 架构、微调过程以及如何为 NLP 任务微调自己的预训练模型。-介绍-大型语言模型 （LLM） 的特别之处可以概括为两个关键词——大型和通用。“大”是指它们训练的海量数据集及其参数的大小，即模型在训练过程中学习的记忆和知识;“通用”意味着他们具有广泛的语言任务能力。更明确地说，LLM 是 ChatGPT 或 Bard 等聊天机器人背后的一种新型 AI 技术，与通常针对单个任
2024-06-19 17:51:25
717
原创 初学者怎么入门大语言模型开发？
Prompt Engineering 涉及为大型语言模型设计有效的输入（Prompts），以引导模型生成所需的输出。这个过程不仅需要精确表达问题或需求，而且要格式化输出以适应特定应用。
2024-06-19 17:07:25
851
原创 如何一步一步构建大模型原生运用？我用2年时间，总结了这套方法！
最后但并不是最不重要的，我们必须将我们的工作产品化。像任何其他生产级别的解决方案一样，我们必须实现生产工程概念，如日志记录、监控、依赖管理、容器化、缓存等。这是一个复杂的过程，但幸运的是，我们可以借用许多来自传统生产工程的机制，甚至采用许多现有的工具。反馈循环我们如何衡量成功？收集这些数据也很重要；未来，这可以帮助我们重新定义我们的理智"基线"，或者使用dynamic-few shots或微调模型来微调我们的结果。缓存与传统的SWE不同，当我们在解决方案中涉及生成性方面时，缓存可能会非常具有挑战性。
2024-06-19 17:04:03
551
原创 从简单到复杂：基于大模型的智能体开发实操思路与技巧
智能体开发是一个充满挑战和机遇的领域。从初步实践到重度开发，开发者需要不断学习新的技术、探索创新的思路，并与业务需求紧密结合。通过系统化的开发流程、精心设计的交互方式和持续的优化改进，我们可以构建出更加智能、自主和有用的智能体，为各行各业带来变革。
2024-06-19 17:01:08
793
原创 大模型在智能审计中的应用研究
【摘要】随着人工智能技术的发展与应用，智能审计成为审计信息化领域研究与应用的前沿和热点。目前大模型成为人工智能技术研究与应用的热点，研究如何应用大模型开展智能审计具有重要的理论和应用价值。本文首先分析了大模型的概念与优缺点，对大模型进行了分类，并分析了目前常见的大模型工具。在此基础上，重点研究了大模型在智能审计中可行的应用场景。最后结合案例分析了大模型在智能审计中的具体应用。研究内容为应用大模型开展智能审计提供了理论基础和应用经验。【关键词】 大模型;智能审计;人工智能;审计信息化。
2024-06-19 16:59:14
761
原创 大模型产业加速形成应用场景
多款人工智能大模型近日扎堆上市。OpenAI发布最新多模态人工智能大模型GPT—4o；谷歌发布“人工智能全家桶”，包括对标GPT—4o的全能人工智能助手Project Astra和对标Sora的文生视频模型Veo等。5月15日，字节跳动也发布豆包大模型，并将价格拉至行业新低。不仅是字节跳动，连日来，OpenAI、阿里云等企业纷纷下调大模型价格。其中，豆包主力模型的推理输入价格只有0.0008元/千Tokens（文本中最小语言单元），比行业便宜99.3%。也就是说，0.8厘就能处理1500多个汉字。
2024-06-19 16:53:56
920
原创 每一个企业，都值得拥有自己专属的AI大模型
大模型技术的发展日新月异，模型参数规模越做越大，能处理的文本长度、多模态融合等方面也在快速演进。然而，如何将这些大模型的潜力在企业中落地应用，仍然是业界面临的一大挑战。企业业务场景千差万别，大模型必须经过针对性的训练和微调，才能有效适应不同企业的需求和业务流程。面对这些挑战，业界一直在探索各种解决方案，但尚未形成统一的最佳实践。在这一背景下，星环科技作为行业的先行者，积极探索大模型在企业中的应用路径。
2024-06-18 15:13:03
990
原创 AIGC大模型微调与私有化部署的应用及案例
AIGC（人工智能生成内容）大模型与私有化部署的结合，特别适用于需要高度数据隐私和定制化需求的场景。以下是AIGC大模型与私有化部署的应用及具体案例分析：1. 医疗健康应用- 临床决策支持：通过私有化部署大模型对患者数据进行分析，生成个性化的诊疗建议和健康管理方案。- 病历自动生成：大模型可以帮助医生自动生成标准化的电子病历，提高文书工作效率。案例- 描述：Mayo Clinic使用私有化部署的大模型对患者的医疗数据进行分析，提供适时的临床决策支持和疾病预防建议。
2024-06-18 15:02:35
693
原创 私有化部署 Llama3 大模型, 支持 API 访问
原文 https://ducafecat.com/blog/llama3-model-api-local通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
2024-06-18 14:57:16
832
原创 浅谈大模型私有化+精调：面向垂直行业与特定场景之需
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
2024-06-18 14:55:12
830
原创 大模型落地竞逐，云计算大厂“百舸争流”
综上所述，这四家云计算大厂对于大模型的落地虽然在打法上各有侧重，但目标还是非常一致，基本上都是在自身原有业务的基础上进行延展，或继续加长自己的长板，或开发出新的增量。值得一提的是，除了在大模型的技术和业务层面进行竞争之外，这几家大厂还广泛参与到大模型创业公司的投资之中，目前中国估值前五的生成时AI独角兽（月之暗面、智谱AI、Minmax、零一万物和百川智能），阿里的参投率为100%，腾讯则投了百川智能、智谱 AI 、MiniMax 3家，此外深言科技、无问芯穹等大模型公司也曾进入到腾讯的投资名单。
2024-06-18 14:46:56
1215
原创 漆远：大模型发展与落地思考
大模型的出现，如ChatGPT，让我们看到了强人工智能（AGI）的曙光。微软研究院的一篇文章《Sparks of AGI》也对此进行了深入的探讨。对于那些长期从事人工智能研究的人来说，当他们第一次看到ChatGPT时，无不感到震惊。因为它的表现超越了我们的期望，让我们看到了通用人工智能的影子。以往，我们衡量一家公司的人工智能能力，往往是看它拥有多少个小人工智能模型。因为这些模型通常是针对特定场景进行定制的。例如，我们可能需要查看一千万张猫脸或狗脸的图片，才能精确地将猫脸和狗脸进行分类。
2024-06-18 14:44:28
982
原创 大模型落地最后一公里，企业业务如何重构？
11月22日北京国家会议中心，2023年飞书秋季大会上，人头攒动，座无虚席。巨大的屏幕前，一张张面带亲切微笑的脸庞缓缓出现在大屏幕之上，变换着不同的面貌。这是飞书最新推出的智能伙伴。表面上看，比起传统的AI工具型产品，其是一位“更像人”的同事——所有飞书用户都可以给自己的飞书伙伴起专属名字，并且在IM、会议、文档场景中与之对话、协作。人人都能拥有这样一位“工作伙伴”，这相当于你的组织中多了一倍的新员工。在无数工作场景中，通过人和AI的协作，智能伙伴都可以发挥作用，来辅助推进完成工作。
2024-06-18 14:02:13
806
原创 大模型已至，企业如何落地？
在这个AI大模型泛滥成灾的时代，企业们似乎都患上了一种名为“大模型焦虑症”的怪病。他们急切地想要将这些庞然大物纳入自己的怀抱，却又不知道如何下手。于是乎，一场关于“大模型如何落地”的闹剧，就这样在商界悄然上演。首先，让我们来看一看这场闹剧的主角——大模型。根据中国信通院发布的《2023大模型落地应用案例集》，这些大模型已经在各行各业中“落子不断”，仿佛成了企业界的新宠。然而，这些模型真的能为企业带来所期待的变革吗？还是仅仅成为企业展示科技实力的一张亮丽名片？我们不妨先来审视一下大模型落地的现状。
2024-06-18 13:58:46
866
原创 企业落地大模型的路径选择：微调、RAG、提示词工程
与传统应用不同，模型的输出是不确定的，即使多次问它一样的问题，给出的结果也可能不一样。这种特性对于日常应用业务 OK，但是如果要在企业内用来处理具体业务问题，就必须提高这个稳定性，否则影响生产经营，例如产线操作人员通过模型获取操作步骤或者参数，如果步骤或者数据不对可能会导致产品出现质量问题等等。模型一旦训练好，就无法再补充数据，因此模型不会了解你自己组织内部的年假规定，注意事项。如何让大模型掌握这些数据是另外一个需要解决的问题。
2024-06-18 13:57:20
584
原创 大模型应用商业化落地关键：给企业带来真实的业务价值
2024 年被很多人称为大模型应用的元年，毫无疑问，大模型已经成为共识，下一步更急迫的问题也摆在了大家的面前——大模型到底能够用在哪？有哪些场景能落地？怎么做才能创造真正的价值？在刚刚过去的 AICon 全球人工智能开发与应用大会上，InfoQ 采访了在大模型应用领域的领跑企业数势科技创始人兼 CEO 黎科峰博士，交流大模型商业化落地的可行性路径，为行业提供启发。1 大模型在 ToB 领域蕴藏巨大机遇，企业出海或将成为落地加速器当前，许多传统企业对于如何将大模型技术整合到现有业务中感到迷茫。
2024-06-18 13:55:29
605
原创 DoRA：大模型微调从LoRA到DoRA，还有哪些模型微调的优化空间
即通过低秩矩阵展开，将原本需要微调的全基础网络，变成仅需要微调低秩展开矩阵的形式，大幅度减少了所需的参数量。更新方式：在2020年的文章《Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning》中，已经证明了在预训练的NLP模型中，可以投影到更低维度的子空间，同时保持较好的最终表现。
2024-06-17 21:18:59
633
原创 大模型参数高效微调（PEFT）技术解析及微调加速实践
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-06-17 21:16:36
659
原创 必看：大模型如何在金融领域落地？（建议收藏）
金融行业在应用大型计算机模型方面，比其他行业要快得多。这是因为金融行业已经积累了大量的数据，这为大型模型提供了丰富的信息来源。这些模型可以在金融领域做很多事情，帮助提高工作效率。比如，这些大型模型可以分析投资者的情绪，预测股票价格。它们还能通过学习过去的金融数据，来预测未来的市场趋势，帮助投资者和金融机构做出更好的决策。此外，这些模型还能帮助处理复杂的任务，比如分析交易信息，识别风险并提出防范策略。金融世界有很多特别的规则和术语，就像一个秘密俱乐部。
2024-06-17 20:34:39
697
原创 浅谈大模型及在金融领域的应用
大模型是基于深度学习，利用海量的数据和计算资源训练的具有数百亿甚至数千亿个参数的深度神经网络模型，其巨大的数据和参数规模，实现了智能的涌现，展现出类似人类的智能。大模型的“大”主要体现在三个方面：即参数数量庞大、训练所需数据量大、计算所需资源庞大等。大模型的应用范围非常广泛，包括但不限于_
2024-06-17 20:24:45
1059
原创 大语言模型在金融领域的应用场景探析
随着人工智能技术的不断发展，大语言模型(Large Language Models，LLMs)在金融行业的创新应用受到业内广泛关注。大语言模型的核心功能是能够理解和生成人类语言，使计算机能够更加智能地处理自然语言场景下的复杂任务。近年来，大语言模型在问答、文本生成、翻译等多种自然语言处理任务中表现出色。GPT-3等大语言模型采用自回归生成策略，可在没有预设答案的情况下生成连贯、相关的文本，这种策略基于已生成的内容预测下一个词，使生成的文本自然流畅。
2024-06-17 20:20:31
824
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人