解密百TB数据分析如何跑进45秒

于 2021-07-29 11:12:19 发布
阅读量131 收藏
点赞数
分类专栏： 百度 后端 文章标签： 大数据 后端 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihui49/article/details/119205671
版权

图片

导读：简述了大数据处理的技术实践，从高实时性、秒级查询、交互式分析等方面进行详述。同时，介绍了离线任务管理的拓展领域。希望给读者带来一些启发，更希望能引起志同道合者的共鸣和探讨。

全文2054字，预计阅读时间 6分钟。

图片

图片

图片

图片

推荐阅读：

｜从 Web 图标演进历史看最佳实践 | 文末送书

｜百度内容风控词表那些事儿|文末送书

｜揭秘百度微服务监控：百度游戏服务监控的演进

｜百度搜索稳定性问题分析的故事（下）

｜百度搜索稳定性问题分析的故事（上）

｜百度关于微前端架构EMP的探索：落地生产可用的微前端架构

｜详解支撑7亿用户搜索的百度图片处理收录中台

百度Geek说

百度官方技术公众号上线啦！

技术干货 · 行业资讯 · 线上沙龙 · 行业大会

招聘信息 · 内推信息 · 技术书籍 · 百度周边

欢迎各位同学关注

百度Geek说
关注
专栏目录
博客
用增结算数仓化改造：在/离线调度系统的构建与应用
10-17 589
用增结算类业务作为内部应用推广对外结算的唯一业务平台，对结算数据的准确性、一致性的要求非常高。针对平台离线计算历史架构中存在的系统性问题，根据当前业务特点进行分析、设计，进行了整体离线层数据架构的重构，保证结算数据的逻辑解耦、版本管理、准确性时效性提升、进度与异常及时感知、简化接入与降低运营成本。
博客
百度视觉搜索架构演进实践
10-15 731
本文介绍了视觉搜索架构为了应对业务和技术发展带来的一系列挑战，从技术栈更新、架构能力升级、稳定性保障等方面入手，采取了全链路架构演进的技术应对方案。基于业务特点，结合百度内外的技术设施储备，我们采用Golang+GDP开发框架+ExGraph图化引擎重构了视觉展现架构，将其拆分为接入模块及展现模块，降低多端数据与业务逻辑耦合度；然后重新定义了视觉搜索架构分层及模块功能职责，并对展现模块及检索模块进行了数据协议统一、功能收敛内聚、逻辑分层改造工作；
博客
HelixFold 3 全球首个完整复现 AlphaFold 3，百度智能云 CHPC 为人类生命探索提供算力平台支撑
10-08 968
2020 年 12 月，AlphaFold 2 发布。相较于之前实验成本高、耗时长、蛋白质结构解析困难的传统方法，AlphaFold 2 可以通过深度学习技术，仅需几小时就能准确地预测蛋白质的三维结构，极大地加速了生物医学研究的速度。众所周知，在包括人体在内的生物体当中，蛋白质并不是孤立运作的，蛋白质与各种其他分子的相互作用会贯穿不同的生物功能，这影响着研究生物和疾病的机理和通路、药物的研发等。但是，AlphaFold 2 无法预测蛋白质与其他类型分子的相互作用。
博客
百度搜索结果波动的极致治理
09-26 971
本文阐述了百度搜索系统针对diff率问题的创新解决方案，通过设计数据打平技术，将问题量化至服务与特征层面，实现精确贡献度的衡量。构建打平server支持数据订阅与发布，实现低代码实验配置，并利用fake流量与动态debug机制，在不影响用户体验的情况下进行大量实验与数据收集。采用多实验统筹与自动巡检机制，提高实验效率与分析自动化。最终，捕获所有对diff率有实质贡献的特征，分析根本原因，指导系统优化，显著降低结果的波动，节省人力与时间成本。值得注意的是，结果波动是分布式系统中普遍存在的问题。
博客
PaddleX图像分割赋能医疗领域筛查检测，打造智能医疗诊断系统
09-23 142
在医疗科技的前沿探索中，恶性皮肤肿瘤的早期识别与治疗显得至关重要。据2024年2月国家癌症中心发布的数据，中国恶性皮肤肿瘤的发病率已达2.4/10万，且每年新发病例约3.5万例[1]。尤其值得关注的是，晚期恶性皮肤肿瘤的生存率极低，例如黑色素瘤晚期的五年生存率仅4.6%，中位生存期不过1.42年，凸显了早期诊治的紧迫性[2]。然而，皮肤病变检测领域长期受专业门槛高、医疗资源分布不均的制约。
博客
百度Android IM SDK组件能力建设及应用
09-18 1946
即时通讯系统（Instant Messaging，简称IM系统）是一种允许用户通过互联网实时交换信息的通信技术。核心功能包括消息的发送与接收、用户状态的管理、消息、会话的存储与检索等。为了更好地满足用户更多场景诉求，IM系统还提供了如群组聊天、文件传输、语音和视频通话等功能。
博客
百度智能云向量数据库创新和应用实践分享
09-12 320
在大模型时代，数据库与大模型相互成就。我们也看到了很多新的趋势，从底层的 IaaS，模型会从云端扩展到端，PaaS 会从现在纯文本模型扩展到多模态，上层应用会从当前主流的 Copilot 扩展到 Agent，更充分利用大模型的自主决策能力。在向量检索这个场景中，存储的是非结构化数据，业务使用的越广泛，需要存储的数据就越多，因此在架构选型的时候，建议更早的预判到未来的业务增量，提前选择一个长期收益都很大的产品。我们会看到从客户场景角度，需要的是一个专业全面的能力的数据库，不是一个简单的插件可以完成的。
博客
百度MEG数据开发治理平台-TDS
09-10 1286
为实现这一目标，我们启动了第二阶段的开发，采用 Post-pretrain + SFT 对模型进行微调，结合BI分析工具的一些典型的打点日志，将用户查询的指标、维度、以及对应的筛选条件等整合后构建数据集在千帆平台进行大模型训练。模型提供的直观诊断报告，用通俗易懂的语言解释复杂的技术问题，大大降低了业务人员的学习及使用成本。TDS的数据任务涉及到众多业务线的基础数据产出，当这些任务出现异常时需要及时报警，TDS平台建立了一套完整的监控报警系统，当任务运行失败或出现异常时，进行及时的报警通告。
博客
键盘也能用上大模型？文心一言内置于罗技最新品
09-05 194
通过软硬件结合的立体式生态创新，罗技的用户现在可通过 Logi Options+自定义设置新品琥珀系列键盘上的快捷灵动键，更高效地调整他们的工作流程以满足特定需求，并使用/设定内置于 Logi Options+的 AI 相关功能，获得由百度文心一言提供的人工智能工具各类功能，例如文案创作、图像生成、学术论文辅助以及数据处理等。未来，为满足中国消费者的多样化需求，让用户可以根据自身喜好和应用场景，自由高效地选择 AI 服务，百度与罗技将继续携手并肩，共同探索人工智能技术应用的更多可能。
博客
大模型在研发数据中台的应用实践
09-03 1168
研发数据中台（性能中台）是一个专为APP性能追踪设计的一站式解决方案平台。通过先进的数据采集与监控技术，为APP提供实时、全链路的应用性能监控服务，助力APP提升线上问题排查与解决的效率。接入情况：覆盖了公司内部50多个APP、小程序、浏览器，以及外部收购的APP。服务规模：每日处理近千亿条研发数据，数据峰值达到30万QPS，核心业务端到端入库时间达到秒级别。业务可视化报表：针对通用化业务，提供例如问题概览、APP启动速度、用户分析等页面的可视化报表。业务宽表与数据集。
博客
飞桨框架3.0核心升级：动静统一自动并行，轻松开发大模型
08-29 238
框架的自动化流程主要有以下阶段：将用户标记的模型组网用分布式张量进行表示，然后进入切分推导流程为组网中的所有张量推导出一个合理高效的切分状态，接着框架的切分转换流程将为模型添加合适的通信算子 (详见下文2.2 章节)，如果在静态图模式下还会基于静态图进行图优化提升训练性能 (详见下文4.1章节)，最后用户可以保存或转换训练好的模型 checkpoint。例如，我们希望在6个计算设备上，创建一个形状为(4, 3)的分布式张量，其中沿着计算设备的 x 维，切分张量的0维；
博客
百度搜索的RLHF性能优化实践
08-27 1399
综上，我们在广泛实验、对比和学习了业界主流框架的情况下，通过分析RLHF任务的特点并采用先进的大模型预训练及推理性能优化手段，使得RLHF任务性能大幅提升，能够以相对少的资源支持了业务的快速迭代和发展，取得了良好的业务效果。
博客
基于飞桨框架实现PCA的人脸识别算法
08-22 75
主成分分析（PCA，Principal Component Analysis）是一项在高维数据中，寻找最重要特征的降维技术，大大减少数据的维度，而不显著损失信息量。本文将通过基于飞桨框架的实际代码示例，来展示所提供的高效、灵活的线性代数 API，如何简化机器学习和深度学习中的数据处理和分析工作，为高维数据集的处理和分析提供了有效工具。飞桨通过提供这些高效、灵活的线性代数 API，极大地简化了机器学习和深度学习中的数据处理和分析工作，为高维数据集的处理和分析提供了有效工具。
博客
统一多场景自动编译加速——支持动态shape场景，一套架构搞定训推需求
08-20 1060
通过飞桨神经网络编译器的自动优化，我们在生成式推理模型上相比基础版本，性能提升30%；在科学计算场景（Nvidia modulus）上， 基于飞桨提供的高阶自动微分及编译优化技术，对比 PyTorch 模型训练性能整体领先60%。
博客
基于飞桨框架的稀疏计算使用指南
08-15 1040
本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。
博客
云高性能计算平台 CHPC 让企业的传统 HPC 玩出新花样
08-13 1177
HPC 集群可以快速完成复杂计算，支撑模型仿真、数据分析等应用的高效运行，提高业务的创新速度，缩短产品上市时间。在很长的一段时间内，企业为了最大化提升市场竞争力，在传统的 HPC 集群上保持着不菲的资金投入，包括扩大集群规模、采购最新设备等方式。当前，如何在保障业务创新速度的同时，优化 HPC 集群的使用和运营方式以便减少资金投入，成为企业关注的重点。
博客
Embedding空间中的时序异常检测
08-08 716
在Embedding空间中实现高效的时序异常检测，通过向量化技术捕捉用户行为变化，有效应对复杂业务场景下的异常流量检测。
博客
读友好的缓存淘汰算法
08-06 1010
本文探讨了引入缓存解决高访盘吞吐的长尾。
博客
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
08-01 512
今天的分享主要从工程师的视角来剖析 Transformer 的整体架构
博客
微服务架构革新：百度Jarvis2.0与云原生技术的力量
07-30 433
随着云计算和微服务架构的飞速发展，百度Jarvis2.0的诞生标志着一个新时代的到来。作为业界领先的广告技术平台，百度商业产品矩阵通过效果广告和展示广告两大类，以及基木鱼、观星盘等营销工具，为广告主提供了一个强大的营销生态系统。这些工具不仅帮助客户精准传达营销诉求，更是在广告检索系统中架起了一座桥梁，实现营销目标的高效达成。在广告存量竞争日趋激烈的今天，百度的商业产品不断演进，以小步快跑的方式，加速新功能的孵化与上线。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值