一年数十万次实验背后的架构与数据科学

于 2021-09-09 10:51:36 发布
阅读量81 收藏
点赞数
分类专栏： 后端 百度 文章标签： 人工智能 数据库 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihui49/article/details/120196049
版权

图片

导读：人工智能时代，A/B Test实验是数据驱动型组织的核心依赖。一套好的实验系统能支撑产品快速迭代，用数据说话，辅助快速做出正确产品决策。那么如何保证几百上千人的团队在超复杂系统中保持高效迭代？如何在超大规模数据量下快速产出报表？如何降低抽样波动尽快产出置信的数据结论？本文主要从以上几个方面探讨A/B Test平台在实际生产环境的具体实践和思考。

全文预计阅读时间 9分钟。

图片

图片

图片

图片

图片

推荐阅读：

｜百度短视频推荐系统的目标设计

｜百度信誉认证中台架构解析

｜图数据库在百度汉语中的应用

｜5分钟学会Flutter开发

---------- END ----------

百度Geek说

百度官方技术公众号上线啦！

技术干货 · 行业资讯 · 线上沙龙 · 行业大会

招聘信息 · 内推信息 · 技术书籍 · 百度周边

欢迎各位同学关注

百度Geek说
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
基于飞桨框架的稀疏计算使用指南
08-15 779
本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。
博客
云高性能计算平台 CHPC 让企业的传统 HPC 玩出新花样
08-13 1057
HPC 集群可以快速完成复杂计算，支撑模型仿真、数据分析等应用的高效运行，提高业务的创新速度，缩短产品上市时间。在很长的一段时间内，企业为了最大化提升市场竞争力，在传统的 HPC 集群上保持着不菲的资金投入，包括扩大集群规模、采购最新设备等方式。当前，如何在保障业务创新速度的同时，优化 HPC 集群的使用和运营方式以便减少资金投入，成为企业关注的重点。
博客
Embedding空间中的时序异常检测
08-08 657
在Embedding空间中实现高效的时序异常检测，通过向量化技术捕捉用户行为变化，有效应对复杂业务场景下的异常流量检测。
博客
读友好的缓存淘汰算法
08-06 946
本文探讨了引入缓存解决高访盘吞吐的长尾。
博客
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
08-01 452
今天的分享主要从工程师的视角来剖析 Transformer 的整体架构
博客
微服务架构革新：百度Jarvis2.0与云原生技术的力量
07-30 378
随着云计算和微服务架构的飞速发展，百度Jarvis2.0的诞生标志着一个新时代的到来。作为业界领先的广告技术平台，百度商业产品矩阵通过效果广告和展示广告两大类，以及基木鱼、观星盘等营销工具，为广告主提供了一个强大的营销生态系统。这些工具不仅帮助客户精准传达营销诉求，更是在广告检索系统中架起了一座桥梁，实现营销目标的高效达成。在广告存量竞争日趋激烈的今天，百度的商业产品不断演进，以小步快跑的方式，加速新功能的孵化与上线。
博客
技术路线速通！用飞桨让京剧人物照片动起来
07-25 990
整体技术架构说明：基于飞桨框架的 PaddleHub 将戏剧人物与水墨画风格进行融合，接着使用 PaddleGAN 中的 FOM 模型进行视频人物的面部动作迁移融合，如下图所示。PaddleGAN 不仅为大家提供各类经典的生成对抗网络的复现及应用，同时还为大家准备好了各类项目的大合集，并且此项目将持续不断更新与补充，还希望大家持续关注 Repo–PaddleGAN！▎图像风格迁移****Python#安装paddlehub及其模型!# 下载模型%%capture!Python。
博客
无需业务改造，一套数据库满足 OLTP 和 OLAP，GaiaDB 发布并行查询能力
07-23 860
OLTP 数据库擅长处理数据的增、删、改，以及小数据量的查询，更侧重数据的实时响应、高吞吐和事务性等要求。OLAP 则以大数据量的复杂查询为主，更侧重数据容量的扩展性、复杂计算能力等要求。
博客
Tensor 索引的使用指南及学习心得
07-18 1056
本文章由飞桨 PFCC 社区成员卢畅贡献。卢畅，飞桨 PFCC成员，飞桨开源之星，飞桨开发者专家（PPDE），长期参加飞桨黑客松、护航计划等开源活动，参与过飞桨执行器预分析性能优化、静态图自动并行架构升级等任务。本期分享的主题是Tensor 索引。在深度学习的世界中，数据是一切算法和模型的基础。有效、高效地处理数据，特别是处理高维数组或张量（Tensor），成为了构建模型、处理数据等任务的重要部分。
博客
百度智能云将大模型引入网络故障定位的智能运维实践
07-16 1201
本文将简单介绍百度智能云在物理网络故障定位的发展历程，然后详细分享如何基于大模型进行故障定位的最新实践。
博客
彻底解决网络哈希冲突，百度百舸的高性能网络 HPN 落地实践
07-11 430
GPU 的通信性能对于大模型的训练有着至关重要的影响。在 HPN 网络工程实践中，我们的核心关注点是如何充分利用网络硬件资源的能力，将通信性能最大化，从而提升大模型端到端的训练性能。
博客
百度Feed业务数仓建模实践
07-09 953
本文介绍了 Feed 数仓宽表建模的演进过程和实践，使用流批一体的多版本宽表实现从实时到离线不同时效性、用户资源等多维度数据的数仓解决方案。
博客
大模型时代数据库技术创新
07-04 1088
本文整理自 2024 年 6 月 ArchSummit（深圳站） Data4AI 和 AI4Data 方面的探索和实践案例专题的同名主题分享。大家好，我今天讲的内容总共分为三部分，先是数据库和大模型的演变历程，尤其是两者的结合的过程。然后在分别介绍向量数据库，以及大模型在数据库运维应用结合的实践经验。
博客
低代码组件扩展方案在复杂业务场景下的设计与实践
07-02 911
本文主要介绍 NPM 组件扩展包的设计原理和开发实践。
博客
通过搭建 24 点小游戏应用实战，带你了解 AppBuilder 的技术原理
06-27 814
由于大语言模型的技术原理仅是预测下一个词，因此单纯依靠提示词工程或指令微调来实现「随机出题」、「验证题目」、「解法推荐」这三个功能并不可靠。基于工具组件增强的大语言模型技术（Agent 技术）才是实现这个 24 点应用的有效方法。Agent 是一种设计模式，即通过自然语言驱动大语言模型决策要使用的工具，并能够根据工具执行的结果进行下一步决策。对于大部分简单任务来讲，都可以把任务分解为「思考模块」的定义和工具组件实现。其中，思考模块一般是一个思考模型。它并不一定是特殊的模型，也可以是一个普通的通用大模型。
博客
基于 Native 技术加速 Spark 计算引擎
06-25 698
今天分享的主题是基于 Native 技术加速 Spark 计算引擎，大家将会了解到如何基于 ClickHouse 来改造 Spark 引擎，最终获得较为可观的性能提升。
博客
百度&YY设计稿转代码的探索与实践
06-20 1062
Figma & AI相结合生成开发代码的一站式解决方案。
博客
如何实现埋点日志精准监控
06-18 445
基于日志中台实时架构实现准确、可扩展、低成本的日志埋点监控。
博客
从打点平台谈打点治理
06-14 1049
本文从打点平台角度，描述日志中台在打点治理方面提供的解决方案与实践经验。
博客
手把手教你用Spring Boot搭建AI原生应用
06-06 1235
文章详细介绍了 Spring AI 的使用方法，并将 Spring AI 与 Spring Boot 集成，结合检索增强生成技术，帮助读者轻松开发出一个 AI 原生应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值