腾讯云大数据-CSDN博客

转载腾讯AI技术助力敦煌「数字藏经洞」全球上线

腾讯云ES团队引入了「古文分词器」，并与敦煌专家团合作优化了复杂词汇的分词方式, 形成了专属敦煌的古籍分词系统，将晦涩的古籍转化为了计算机能理解的最小数据单元，便于 AI 搜索。我们也相信，技术可以抵达的地方，正是文化可以继续生长的方向。在腾讯智能检索和大模型技术助力下，沉睡于竖排繁体和生僻字中的古籍信息被唤醒，变得可检索、可翻译、可问答，不再晦涩难解，而是简明易懂。不仅知其然，还能知其所以然，AI智能归纳金刚经的背景知识，进一步介绍历史地位、核心思想、结构特点、文化影响，全方位理解《金刚经》。

2025-06-06 17:06:17 13

转载【专家说】杜俭峰：下一代银行数据体系演进

同时信贷员还需依赖内部知识、行业经验、市场趋势分析和特定情况下的审批规则，这些知识或没有被整合到数据系统中、或因知识未被提取形成联动，这样可能就会出现系统根据结构化数据进行贷款审核、未能关联未被记录的风险因素导致本应拒绝的高风险贷款被批准。当前，云原生智能湖仓逻辑异构的统一元数据能力、统一语义能力、统一资源管控和调度能力，将为银行业数据体系的重塑提供有力支撑。针对现有数据资产面临的问题，业务需求不断变化和适应数据智能体业务发展的需求，提出一种全新的重塑数据资产的思路。

2025-06-06 17:06:17 14

转载中金财富获评DataOps突出应用成果，腾讯云WeData助力数据交付提效50%

此外，中金财富以腾讯云TBDS（大数据开发套件）为技术支撑，构建了大数据底座的公司级数据中台，沉淀3万余张业务表、纳管3.8PB数据，基本覆盖全域业务场景。近期腾讯云WeData也通过了信通院DataOps能力系统工具专项评测，并参与了大数据技术标准推进委员会DataOps工作组牵头的《DataOps实践指南（3.0）》编制，其提供的自动化编排、智能血缘分析等能力，正在证券、能源、制造等多行业形成标准化解决方案，助力更多行业构建数据价值驱动的运营模式，实现数据的经济与业务价值最大化。点亮星标🌟 不再错过。

2025-05-30 16:26:52 91

转载腾讯云程彬：AI驱动数据进化，构建轻快易用的智能大数据平台（内附完整访谈视频）

腾讯大数据面临着另一个问题，对我来说，更多的是思考如何让所有团队成员拥有共同的目标，实现共赢，互相成就。接着，在我们自己的产品侧，这个新产品。在数据领域，我认为Data Agent肯定会成为云厂商的标配，最早可能在今年下半年，最晚到2026年，它可能会成为一种标准化产品。简单来说，你的存储可以在我这里，但计算可以使用你自己的，或在其他云上运行，都OK。

2025-05-28 18:32:23 30

原创云顾问 × ES：助力“顶流客户”平稳度过618

terms查询数值类型使用不合理，查询性能差且占用过多 CPU，升级内核版本后应用腾讯云ES自研优化使得CPU使用率下降 70%，查询延迟下降90%。针对电商业务的核心需求，腾讯云ES基于多年技术沉淀，提供覆盖稳定性、性能与弹性的完整解决方案，助力企业从容应对流量高峰。为进一步构建稳定高可用的架构基座，云顾问基于海量场景经验，为企业ES集群架构设计三重架构治理闭环方案，推动能力持续优化。例如，某电商在大促准备期间技术升级，将ES集群查询性能提升5倍，用户页面加载速度优化至毫秒级，带动GMV增长25%。

2025-05-28 18:32:23 664

转载【专家说】游欣：国产大数据平台建设实践

部分银行用户的数据平台迁移采用分期建设方式。在平台迁移的并行期，TBDS可以提供与存量大数据平台（如CDP）的并行方案：在开启安全互访的情况下，通过WaggleDance实现TBDS与CDP的元数据统一路由，客户端通过WaggleDance虚拟HMS（Hive Meta-store）入口访问，自动路由请求至对应集群的HBase表元数据，并行期间新旧大数据集群可以同时分担业务负载，直至通过业务负载的逐步迁移平稳完成大数据平台的替换，既可以保证自主创新任务的分期分批完成，也充分保证了存量基础设施的有效利用。

2025-05-23 17:01:54 18

转载腾讯五大协同办公产品AI升级：从单点提效迈向全流程智能

在会前，可以支持上传文档、图片和云录制，快速分析解读，高效准备会议材料。如今，AI技术正持续简化办公流程，成为提升效率核心驱动力，用户在选择产品时，需聚焦AI功能贴合度、数据安全机制、操作易用性及系统兼容性，优先选择具备持续升级能力的平台，腾讯文档AI助手已在多维度实现效率突破，助力企业提质增效。作为面向B端的AI文档工具，腾讯文档企业版AI助手此次推出的AI写作、AI阅读、AI写公式、AI PPT等核心能力，用“一句话”指令即可完成高效思考和创作，实现了从信息输入到输出的全流程智能化。

2025-05-23 17:01:54 14

转载腾讯云与南网数研院达成业务合作，推动打造能源产业新生态

同时，还基于腾讯6T创新软件能力，运用腾讯分布式云解决方案，帮助南方电网构建新一代云平台，解决网省地多级平台统一运营管理、多元算力统一纳管、云边一体、开放解耦、自主创新等技术难点，有效支撑新型电力系统建设背景下的新业务场景。5月13日，腾讯云计算（北京）有限责任公司（以下简称“腾讯云”）与南方电网数字电网研究院股份有限公司（以下简称“南网数研院”）签署业务合作协议，双方将充分发挥腾讯云的技术产品、资源生态等方面的领先能力，以及南网数研院在数字化转型领域的实践经验，加强自主创新，助推新质生产力发展提速。

2025-05-23 17:01:54 20

原创腾讯云ES再进化，新特性「智能搜索开发」助力LLM应用落地

与此同时，腾讯云ES本身支持常用的中文分词，如IK 分词、QQ分词，同时支持用户上传自定义插件，在内核层面，针对典型向量场景特点做了深度优化，例如分片架构优化，查询并行化，lucene查询缓存锁改造等，10亿级向量检索平均响应延迟控制在毫秒级，整体查询性能提升3 - 10倍，极大程度的提升了混合搜索的效率。更妙的是，在重排序策略上，支持权重可调RRF、归一化Score以及调用GPU Rerank模型服务，无论是关键词与语义之间的平衡，还是对可解释性、准召率要求较高的场景，都能介入调优。

2025-05-16 17:52:17 704

原创重磅！腾讯智能工作台ima，获信通院AI大模型应用精选案例奖

腾讯云ES支持全文索引+向量索引，可轻松实现混合搜索，同时提供全链路智能搜素开发能力，涵盖文档解析、智能切片、向量推理（embedding）、Rerank、联网搜索（Bing、Sogou、Baidu）以及与大语言模型无缝集成等原子能力，通过自研智能路由和查询优化技术,腾讯云ES能够实现百亿级数据规模的毫秒级响应,显著提升检索精准度，帮助企业快速构建智能客服、智能问答等RAG应用，目前已被广泛应用于微信读书、腾讯会议等大型产品中。：AI问答、多模态文本创作、图像生成。点击蓝字⬆ 关注我们。

2025-05-16 17:52:17 345

原创腾讯云WeData：数据质量监控架构的创新与实践

其次，静态阈值管理跟不上业务动态变化。这里还有个要点，数据开发经常会遇到大量告警信息，不论是False Positive（告警，但不是真正的问题）还是False Negative（不告警，但是是真正的问题），需要花很多精力判断告警的有效性。可以引入抽样，让用户确定能接受的置信度，然后计算需要的样本数，抽出来的数据可以存成新的样本库，后续的质量审查都基于这个样本库来做。比如对不同严重程度的告警做不同处理，轻微的集中起来定时通知，严重的立即通知，特别严重的则可以在通知用户的同时自动阻断下游管道，保障业务安全。

2025-04-30 17:05:35 562

原创腾讯云流湖引擎Setats正式发布！打造流、批、增量计算一体的数智开发平台

在大会上，腾讯云还宣布其面向Data+AI领域的数智开发平台WeData升级，Setats作为WeData的核心组件，将与多模态元数据目录、Serverless资源调度等技术深度协同，构建起覆盖数据治理、AI开发、资源管理的全栈能力。一套架构同时支持流、批、增量计算，大幅降低系统成本，并支持数据端到端秒级可见及实时Changelog生成。未来，随着 Setats的持续迭代，腾讯云大数据将以更智能、更融合的技术生态，为企业铺设通往AI时代的高速公路，让数据真正成为驱动增长的新引擎。点击蓝字⬆ 关注我们。

2025-04-30 17:05:35 276

原创腾讯云大数据平台融合创新实践获信通院报告认可，助力医院释放数据潜能

更能通过其内置的数据标准、数据质量、数据开发、数据资产管理等模块，帮助医院规范数据定义、提升数据可信度、统一开发流程、盘活数据资产。目前，该平台已稳定支撑院内多个下游系统及对上级单位的数据推送，全院数据的沉淀、共享和使用效率倍增，数据管控流程也更加规范化。“此次腾讯云大数据解决方案入选信通院报告，是对我们在医疗领域技术创新与国产化实践成果的肯定，”腾讯云大数据架构师表示，“我们很高兴能凭借稳定、高效、安全的融合创新技术，帮助医院克服数据整合的挑战，实实在在地提升数据价值，赋能智慧医疗发展。

2025-04-25 17:00:46 651

原创腾讯云ES一站式RAG方案获信通院“开源大模型+软件创新应用”精选案例奖

目前该方案已在腾讯内部多个业务场景成功落地应用。例如，在腾讯云ES的支持下，腾讯智能工作台ima构建了覆盖“检索-阅读-创作-协作”全流程的知识管理系统，提供内容生成、知识管理、创作辅助等丰富的功能。相比传统AI开发需要分别搭建检索系统和大模型服务的复杂流程，腾讯云ES通过预集成的技术架构，提供了文档解析与切片、GPU推理加速、混合搜索、联网搜索、Rerank等RAG应用落地的全栈技术原子能力，让企业只需导入业务数据，就能实现几分钟快速完成从数据准备到智能服务部署的全流程。点击蓝字⬆ 关注我们。

2025-04-25 17:00:46 423

原创腾讯云大数据：融合Data与AI，加速企业数智化转型与价值释放

该引擎融合了Page Attention、Speculative Decoding、动态Batching、Prefix Caching、Flash Attention、TP/PP 并行优化、算子深度优化等多项前沿技术，旨在大幅提升LLM的推理速度、降低计算成本，让更多创新的AI应用形式（如生成式推荐）成为可能，助力企业AI应用降本提速，推动AI从“实验室”走向“生产线”。面对数据智能时代的机遇与挑战，腾讯云大数据致力于通过Data+AI的深度融合创新，为企业提供坚实的的数智化底座。

2025-04-25 17:00:46 1161

原创信通院大模型赋能数据分析实践沙龙回顾

同时也能有效整合企业数据资源，消除数据孤岛，并助力多模态数据的价值挖掘，助力企业以较低的技术门槛，高效地开展具备一定深度的数据分析，赋能业务洞察与精准决策。为了进一步促进大模型在数据分析领域的快速落地，演讲最后对《大模型驱动的智能数据分析工具技术要求》标准进行了深度解读，标准包含数据准备能力、大模型智能分析能力、智能交互能力、分享协作能力、集成部署能力、安全管理能力等六大能力域，18个能力子域，54个能力项，本文共计1110字预计阅读时长4分钟。点击蓝字⬆ 关注我们。

2025-04-18 17:24:13 345

原创亮相QCon：腾讯云大数据智能管家TCInsight解锁智能化运维新图景

SparkSQL调优则解析执行计划，借强化学习动态优化分区、缓存及算子规则，通过历史任务参照及实时计划解析自动调参，在无需人工干预情况下下洞察识别查询资源可降10%-30%，查询延迟降低30%-50%，二者协同形成全链路智能闭环，赋予平台自感知、自决策能力，为企业数据应用提供高效底层支撑。系统实时处理多源数据，自主完成资源调度调参、故障诊断等任务，通过动态多维构建分析决策引擎，毫秒级响应异常并熔断，同时基于持续优化算法，形成操作处理闭环自治体系，突破人力依赖，为大数据平台提供全天候智能进化支撑。

2025-04-18 17:24:13 996

转载火花思维大数据Serverless实践总结

导读本文介绍了火花思维教育科技有限公司在大数据架构上的一次重大转型：从 EMR 迁移到 Serverless 架构模式。文章首先回顾了 EMR 在公司的应用历程和遭遇的瓶颈，随后引出了 Serverless 技术的兴起及其优势。接着详细阐述了转型的策略、规划、实施细节和收益，并分享了转型过程中的经验与教训。此次转型旨在提升运营效率、节约成本并增强业务敏捷性。通过此次分享，希望能为面临类似挑战的企业提供有益的参考和启示。主要内容包括以下几个部分：1. 引言2. 面临的问题与挑战3. Serverless 技

2025-04-18 17:24:13 277

转载腾讯云大数据 X Uniffle：重新定义Data+AI效能

该方案有效解决了Spark场景下超大Shuffle稳定性问题，通过先进的技术架构和简单易用的操作方式，提升了用户的数据处理效率与可靠性，使其可彻底摆脱Shuffle性能瓶颈，让数据真正成为驱动增长的引擎。不难发现RSS在用时较长的用例中基本全部快于ESS，在超过500s的用例中，这个优势相当巨大，而在用时较短的用例中，也就是Shuffle数据较少时，RSS慢于ESS，此时网络传输等其他因素的影响更大。事实上，超过30%的Spark任务延迟与Shuffle相关，但自建平台难以快速诊断根因，运维成本居高不下。

2025-04-11 11:01:22 196

转载锁定这场直播！腾讯云大数据带你一起探索数据湖的智能化演进之路

随着数据湖使用规模的扩大，客户在使用过程中也遇到了数据湖带来的诸多挑战：过多的小文件会给 Hadoop HDFS 的 NameNode 可用性上带来严重的问题，同时也会在计算引擎侧带来大量的 IO 和查询速度的降低，同时数据湖ACID 特性和高频入湖也会导致数据湖元数据的膨胀，以及数据湖下表的生命周期管理等问题，这些都会影响湖仓在客户侧的落地，因此数据湖存储优化模块是湖仓架构下必不可少的模块，也是湖仓生产落地过程中关键的部分。」，深入解析数据湖存储优化的难点与解决方案，助力企业实现数据湖的高效管理与优化。

2025-03-27 16:19:25 52

转载谁是 AI 搜索先锋？腾讯云 X Elastic 先锋者招募令正式启动！

医疗保健行业借助大规模数据见解，以改善患者护理，取得新的医学发现，并保护严格监管的生态系统和数据。通过持续参与，您可以不断积累 Pioneer 积分，在年末的年度先锋者巅峰对决中，积分最高的前 3 名的先锋者将成为“年度先锋”，并有机会获得“直通 ElasticON 新加坡站门票 + 与 Elastic 原厂技术大咖面对面交流”的资格。这一计划，是 Elastic 中国精心筹备的 Elastic 推广大使招募项目，旨在汇聚社区开发者的力量，共同构建 AI 搜索技术应用新范式，加速企业数字化转型进程。

2025-03-27 16:19:25 46

原创腾讯云ChatBI上线数据解读及波动归因，带来更智能化的数据分析体验

相信随着持续智能化推进，腾讯云BI将帮助客户进一步降低数据分析的门槛，使得每个业务人员都拥有简单高效的分析工具，让企业的每个决策都有数据护航，使得数据不再是冰冷的数字，而是会思考的业务伙伴。智能问数、数据解读、波动归因等是企业经营分析的刚需，原先在企业中需要专门的数据分析师进行分析，而腾讯云ChatBI借助大模型能力和BI能力，让小白直接开口问就能完成分析，大幅降低数据分析门槛、提升效率。在问数结果生成后，腾讯云ChatBI将根据问数结果的数字和图表，输出“讲人话”的洞察报告，使用户更“快”更”懂“数据。

2025-03-21 17:17:02 502

转载 AI+BI，真爱梦想从业务数据里挖出效率与新机

这样不但能够构建起坚实的信任桥梁，充分满足捐赠方的知情权，还能显著提升公益组织的形象与声誉。真爱梦想于2008年8月14日成立，以「发展素养教育，促进终身成长，推动社会进步」为使命，以「帮助每个人自信、从容、有尊严地成长」为愿景，通过「梦想教育」公益服务体系助力义务教育阶段的学生全面成长。真爱梦想专注于素养教育公益项目，在项目的日常运营里，负责教师成长项目的团队必须紧密留意教师的项目参与状况，还有教师参与培训后的成长变化情形，这些数据对于评估培训给教师带来的成长影响至关重要。

2025-03-21 17:17:02 48

转载三维可视化的「黄金搭档」！腾讯云RayData让数据资产“活”起来（内含福利）

物业管理模块包含物业管理、物业服务信息、资产管理、设备管理、园区运营情况、园区招商租赁6个子功能模块，同时兼具园区环境预览、楼层企业分布、楼层热力分布、3D标签展示2个3D效果图层联动，利用大数据、物联网等先进信息技术手段，通过统一的大数据云平台将物业各个单位紧密连接起来，实现物业单位数据的融合，并且对融合数据进行深度的分析和挖掘，用数据说话，发现在物业管理中方方面面的问题，同时打通部门之间的沟通壁垒，建立起高效的联动机制，从而有效、快速地解决物业管理中方方面面的问题。RayData园区行业模版为案例，

2025-03-21 17:17:02 839

原创腾讯云EMR Serverless HBase上线：全托管服务，开箱即用

您无需关注基础硬件设施的运维，通过 EMR Serverless HBase 快速构建海量数据实时查询、实时数据计算和处理、时序数据存储存取等高吞吐、低时延的大数据存取应用。在大数据体系中，HBase是一个非常重要的组件，主要用于处理和存储海量结构化和非结构化数据。腾讯云 EMR Serverless HBase 已从邀测阶段转正式售卖，如果您期望使用更低运维投入的HBase，欢迎登录腾讯云控制台快速使用体验，更多功能等待您解锁。● 高可用架构、存储多副本、自动节点物理机分散，无需关注单点故障。

2025-03-21 17:17:02 430

转载 TCHouse-P结合DeepSeek的二次进化，解锁非结构化数据的智能时代

TCHouse-P集成pgvector后，已完成对pgvector的分布式架构改造，同时优化数据分片和路由规则、跨节点向量计算下推、混合查询优化、资源隔离以及向量存储和列式存储引擎的兼容，简单说，TCHouse-P通过pgvecter已支持对向量数据的数存储和检索。2025年开年，在人工智能浪潮的推动下，DeepSeek等大模型的横空出世已渗透到企业的核心业务环节，它不仅重新定义了人机交互的边界，更将数据的价值推向了前所未有的高度。通过SQL直接查询“与当前振动波形相似的历史故障”，精准定位设备隐患，

2025-03-14 17:04:56 48

转载腾讯云WeData：解锁灵活高效的调度配置能力，轻松应对复杂业务场景

大数据开发平台中的调度系统是用于自动化管理和执行数据处理任务的关键组件，它通过定时调度、依赖管理和任务监控等能力，确保数据流的顺畅，是数据开发平台的核心底座。例如A任务为上游任务，B任务为下游任务，正常依赖关系是B任务12.14的实例依赖A任务12.14的实例，同时A任务12.14的实例依赖B的12.13的实例，这种场景即可使用循环依赖功能来实现。：跨周期依赖是指下游数据依赖上游数据前一个分区的场景，例如小时任务依赖分钟任务，下游当前小时的实例依赖上游前一个小时的实例。下文将介绍调度配置能力中的亮点功能。

2025-03-14 17:04:56 63

空空如也

空空如也