【腾讯云生成式AI产品解决方案深度分析 2024】

文末有福利！

腾讯云生成式AI产品解决方案

(一) 基于生成式AI的腾讯云产品架构升级

(二) 腾讯云完善的产品矩阵，满足不同路线客户需求

1. 路线一 标准软件

(1) 腾讯乐享AI助手

落地背景及挑战

在企业知识管理、培训学习、办公协同场景中，存在着大量的内容生产、内容流转、内容消费诉求，传统的知识管理或培训平台存在着内容生产门槛高、内容生产效率低、内容获取链路长、内容利用率低等问题，导致管理成本高但收效甚微，让企业知识从“低质量”走向“不可用”。

企业应用面临的挑战包括：1. 实现问答能力与企业内部知识的强关联；2. 生成不同场景、格式的内容需要不同模型、方向的训练方案。

产品方案

方案价值

①智能问答：

对比传统搜索的优势：保留知识搜索的权限特性，改变传统冗长的检索->浏览->筛选->理解的信息获取链路，提高内容曝光，让每次知识获取时间减少5-10分钟。

②智能写作：

提供适配企业业务内容生产的写作大模型，让模型一方面能够掌握足够多的各领域知识，提供创作灵感；另一方面能够根据明确指令，对文档内容进行总结、缩写、扩写或纠偏，如撰写大纲、方案续写、会议纪要等。降低业务内容创作的门槛，提升办公协同内容输出的效率。

③智能生成：

让模型掌握跨职责的生产能力，如培训中的生成考题场景，通过训练专门的出题大模型，让模型既理解业务知识，又按规则出题，成为一个懂业务的培训出题专家，解决传统的出题模式中各方资源协同和生产困难的挑战。腾讯乐享AI助手，让知识生产、学习、管理全生命周期提效。

(2) 腾讯云AI代码助手

落地背景及挑战

随着人工智能的爆发，软件工程也转向智能化，而AI代码助手作为公认的高频高价值场景先行一步。

企业落地的挑战包括：‍

1、 企业用户关心代码安全。尤其在金融等高合规要求行业，随着大模型落地的不断推进，企业越来越关注如何平衡大模型落地收益和潜在合规风险。

2、 业务场景要求多模能力，企业内部不同业务场景对多种个性化模型提出需求，同时需保证应用侧无缝对接。

3、 企业决策需要效果度量。企业用户更关心投产价值如何衡量，期待通过数据监控手段，保障模型训练效果，推动持续改善提升。

4、企业效能提出全场景覆盖。企业希望在研发过程中尽可能多的引入较为确定可行的AI加持场景，覆盖多个智能研发场景，从而提升工程质量，达到效率提升最大化。

产品方案

方案价值

腾讯云AI代码助手是依托于腾讯模型与训练底座，精准面向企业客户需求打造，支持多模态、安全合规、流畅高效、成本可控的专业AI编程提效工具。

**①保障代码安全（Security）**依托腾讯云天御安全审核模型三重防护能力，在语料防护和Reasoning、微调等阶段进行

主动预防：确保输入内容正常合规；确保回答问题在训练内容范围之内，减少回答幻觉；确保不合规问题能够被拒绝回答。部署后，和企业安全团队积极配合，只选取企业内部认证合规的私有语料进行进一步训练，打磨出符合企业要求的代码模型。

②支持多模能力（MaaS）

基于具备多模管理能力、支持企业私有化部署的专业训练平台–腾讯云TI-ONE平台进行训练和推理优化，在代码对话、单元测试场景基于行业模型进行指令对齐和强化学习、推理优化，同时对真实场景下反馈的badcase进行调优。

③提供数据看板（Analysis）

企业可通过数据看板进行衡量，通过效能看板密切关注代码生成率、采纳率、QPS、生成耗时等关键指标，对产品的优化起到监督反馈效果。

④覆盖丰富场景（Full）

覆盖代码补全，技术对话，单元测试和代码诊断等关键编码阶段应用场景。

(3)腾讯企点营销云AI助手

落地背景及挑战

企业数据分析主要痛点：懂业务的人不会用分析工具、懂分析的人不一定了解业务、海量数据人工挖掘效率低、数据洞察依赖主观经验不够严谨。

产品方案

方案价值

基于腾讯云行业大模型在分析领域的应用服务。用户可以通过自然语言对话，实现找数查数、数据结论解读、智能归因及异常诊断，旨在企业提供专业、高效、易用、可信的智能分析服务。

①专业

结合行业知识在营销分析领域微调后的大模型，具备专业分析师思维，覆盖90%数据分析场景，及业界领先的问题识别率，客户个性化知识一学就会，更懂业务。

②高效

智能归因自动识别指标异动，海量数据也能快速定位影响因子，异常诊断可及时下发一线业务执行策略，定时看板解读任务和一键生产报告功能，轻松搞定周报日报。

③易用

对话式交互，只要懂业务，就可以实现数据查询及分析，根据业务数据推荐分析问题和分析指标，小白用户轻松上手，分析结果自然语言总结，不懂图表也能获得关键业务信息。

④可信

针对复杂问题，模型推理步骤可视化，分析结果对应配置参数/SQL可查看可验证，分析结果生成配置页面可查看可调整。

2. 路线二-标准模型能力增强

(1) 腾讯云大模型知识引擎

落地背景及挑战

大模型技术不断深化，加速生成式AI应用落地，推动新一轮的产业变革，IDC报告显示，知识管理、会话类应用目前最受企业者关注及青睐。然而，大模型到知识应用落地门还存在一定门槛，在典型知识服务应用包括知识问答、业务办理、知识总结等均有着不同程度的痛点。

①企业文档知识多样化，图文并茂，排版复杂用户问答效果及体验不可控。

②流程知识复杂度高，维护成本高自动化接待难度大。

③不同行业不同场景对于知识总结、信息提取存在差异化诉求。

面向这一背景，打造基于大语言模型的企业级知识应用构建平台，提供提供开箱可用的应用模版、可被集成的原子能力API，降低大模型接入到企业知识管理及会话应用场景的门槛，推动大语言模型在企服场景的应用落地。

产品方案

方案价值

①擅长处理企业级多模态复杂知识，支持最全常用格式与上百种文档场景，在表格问答、复杂公式、图文关联输出与数学计算等复杂场景，可满足企业知识库管理维护的多样化、专业性处理要求。

②依托OCR大模型解析引擎、多模态大模型、业内首个语义切分大模型与基于混元大模型技术的行业大模型，全链路解决复杂文档的解析、切分、检索、推理、生成等业界难题，端到端问答效果业内领先。

③多模态交互模式丰富，应用端支持多种输入、输出格式，提升交互体验。

易用

①使用门槛低，提供开箱可用的应用模板和可被集成的原子能力API两种便捷使用方式。

②工具链完善，支持自定义模型选择、角色设定、提示词自动优化、知识库管理及维护。

③一站式流程，支持对话测试-修正-发布-反馈增强的一站式处理。

(2) 向量数据库

落地背景及挑战

利用LLM和向量数据库，企业可以构建高效、智能的知识库系统，实现快速检索、语义理解和个性化推荐，提升企业知识管理和应用效率。

①挑战：

文档预处理、向量化门槛高，业务接入成本高，接入效果差。

产品方案

方案价值

(3) 腾讯云Cloud Studio

落地背景及挑战

①传统的应用开发常常面临：1、资源的限制 2、环境配置的复杂且不兼容问题

产品方案

方案价值

Cloud Studio，提供即开即用的在线开发环境，满足AI场景下大模型运算、图形计算等场景对GPU算力工作空间的需求，实现AI原生应用开发中提效降本与高效协作，对于教育行业创新应用与教学成果快速迭代、上线更具有长效价值。

3. 路线三-定制化模型精调训练

(1) 腾讯云TI平台

落地背景及挑战

大模型驱动“智慧涌现”，AI大模型的发展与运用，正在逐步贯穿到企业的设计、研发、生产、营销、服务全流程，助力企业创新的同时，帮助员工提效，加速云智一体进程，但是如何将大模型快速应用到自己的业务场景中仍然面临大量挑战。

第一，缺乏高质量行业知识数据。通用大模型在逻辑推理、常识问答等场景下有较好的表现，但是在垂直行业业务场景下效果往往差强人意，需要有大量高质量的行业知识数据，通过大模型训练优化，提升大模型在具体垂直行业业务场景下的能力。

第二，大规模并行训练稳定性要求高。由于大模型的训练参数量、数据量大，在进行大模型训练时，需要大量的GPU训练资源且训练周期长，对训练平台的断点续训、故障自动隔离、自动容错，异常感知等底座能力考验极大。

第三，计算资源少。大模型的训练和推理，对计算资源和存储资源有很高的需求，大规模分布式训练需要高效的资源调度管理系统，减少节点资源碎片，提高调度成功率，并需要灵活的任务优先级配置策略，进一步提升资源利用率。

产品方案

方案价值

①为客户提供丰富高质量的基底大模型。

腾讯云TI平台内置腾讯自研的超千亿参数规模混元大模型，其使用超2万亿token预料优化预训练算法及策略，并改进了注意力机器、开发思维链新算法，在多轮对话、知识增强、逻辑推理、内容创作等方面有优势能力。同时，基于大量垂直行业的业务数据，我们精调训练出金融、医药、教育、汽车等多个行业的行业大模型，降低了不同行业数据的彼此干扰，提升模型在行业垂类任务的性能。

②完善的工具平台支持“简单、稳定、高效”的大规模训练。简单，暨腾讯云TI平台为用户提供简单的大规模训练流程，内置精调物料，一键启动精调任务，最快仅需5步即可完成大模型精调落地。稳定，通过机器故障自动迁移、异常POD驱逐重新调度、自动断点续训，保障大模型训练任务的稳定性。高效，通过拓扑感知调度、gang调度策略，任务优先级配置策略等技术提高资源利用率，并通过自动注入通信配置、网络拓扑等相关参数提升开发效率和问题排查效率。

③提供算力、存储、计算多重优化加速能力。

通过自研的Angel加速框架，通过CPU&GPU异步调用提高吞吐，通过缓存定长和池化，提升参数支持规模，优化显存；自研大模型计算和并行优化方案，结合编译和手工优化，解决低配显存显卡无法训练超大模型问题；为用户提供三重加速优化。

(2) 腾讯云异构计算平台

落地背景及挑战

背景：AI