美团实时计算平台实践与应用

最新推荐文章于 2024-10-17 16:43:27 发布
最新推荐文章于 2024-10-17 16:43:27 发布
阅读量1k 收藏
点赞数
文章标签： 美团 应用 测试 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/45501475
版权

美团实时计算平台实践与应用


我想开发一个实时应用，除了写业务逻辑外，我还要做什么？准备开发前，我要怎样引入数据流？程序中间状态存在哪？结果存在哪？准备开工啦！那我在哪开发？在哪测试？我的拓扑终于上线啦！如何控制延迟？如何监控我的拓扑状态？运行了一段时间，开始考虑：我的拓扑和别人的拓扑会不会抢资源？是否有公共...


详细解读 和小伙伴们一起来吐槽

chengying332
关注
实时计算平台设计
黄刚的技术博客
03-18 7568
设计目标        传统的离线计算会存在数据反馈不及时，很难保证很多急需实时数据做决策的场景。同时，如果各个业务方自己既负责开发实现各种实时计算程序，同时还需要维护一套实时计算软件环境，不仅效率低效，对公司的开发资源、硬件资源也是极大的浪费。所以为公司提供统一的实时计算平台，提升业务团队开发效率，满足公司各种精细化运营、监控等的要求，我们近期启动**实时计算平台的建设工作。
FlinkForwardChina2018基于Flink的美团点评实时计算平台实践和应用.pdf
08-29
根据提供的文件信息，以下是关于标题为“FlinkForwardChina2018基于Flink的美团点评实时计算平台实践和应用.pdf”的详细知识点： ### 美团点评实时计算平台概述 #### 1. 美团点评背景介绍 美团点评是中国领先的...
基于Storm的美团实时计算应用实践
02-02
在Storm出现之前，进行实时处理是非常痛苦的事情，我们主要的时间都花在关注往哪里发消息，从哪里接收消息，消息如何序列化，真正的业务逻辑只占了源代码的一小部分。一个应用程序的逻辑运行在很多worker上，但这些worker需要各自单独部署，还需要部署消息队列。最大问题是系统很脆弱，而且不是容错的：需要自己保证消息队列和worker进程工作正常。 Storm完整地解决了这些问题。它是为分布式场景而生的，抽象了消息传递，会自动地在集群机器上并发地处理流式计算，让你专注于实时处理的业务逻辑
实时计算框架文章收集（持续更新中...）
奇华资料的博客
07-13 495
实时计算——聊一聊我所经历的计算框架https://www.jianshu.com/p/16323566f3c6
美团点评基于 Flink 的实时数仓平台实践
Ververica的博客
01-02 3540
摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享...
支撑美团万亿级数据中心的计算引擎架构演进
过往记忆大数据
06-08 679
本文将详细阐述 Watt 计算引擎的演进历程及架构设计，同时详细介绍其全面提升计算能力、吞吐能力、降低运维成本所采用的各项技术方案。希望能给大家一些启发或者帮助。一、OCTO数据中心简介...
美团实时计算实践：Flink在美团平台的应用与挑战
“Flink在美团平台的实践与应用” 美团的实时计算平台是一个复杂而强大的系统，旨在处理海量的在线业务数据。该平台的核心架构分为多个层次，首先是最底层的数据缓存层，这里所有日志数据通过统一的日志收集系统...
Flink在美团平台的实践与应用
01-27
上图呈现的是当前美团实时计算平台的简要架构。最底层是数据缓存层，可以看到美团测的所有日志类的数据，都是通过统一的日志收集系统收集到Kafka。Kafka作为最大的数据中转层，支撑了美团线上的大量业务，包括离线...
实时计算框架
xiangkuifu的博客
06-08 496
 实时计算框架思路
基于 Blink SQL 的阿里实时计算平台StreamCompute介绍
Hadoop技术博文
11-26 5570
随着近些年大数据技术的不断发展和成熟，无论是传统企业还是互联网公司都已经不再仅仅满足于批处理，对流处理的场景和需求也越来越强烈。于是业界也一直在探索统一流处理和批处理的引擎和 API，比如近几年火爆的 Spark，Beam，还有 Flink。阿里巴巴自 2015 年就开始改进 Flink，并创建了内部分支 Blink，目前服务了阿里集团内部搜索、推荐、广告和蚂蚁等大量核心实时业务。Blink SQ
美团点评基于 Flink 的实时数仓建设实践
lzf的博客
04-06 1211
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink 和 Storm 俩个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。 ...
每天数百亿用户行为数据，美团点评怎么实现秒级转化分析？
美团技术团队
03-23 1万+
用户行为分析是数据分析中非常重要的一项内容，在统计活跃用户，分析留存和转化率，改进产品体验、推动用户增长等领域有重要作用。美团点评每天收集的用户行为日志达到数百亿条，如何在海量数据集上实现对用户行为的快速灵活分析，成为一个巨大的挑战。为此，我们提出并实现了一套面向海量数据的用户行为分析解决方案，将单次分析的耗时从小时级降低到秒级，极大的改善了分析体验，提升了分析人员的工作效率。 本文以有序漏斗的...
滴滴是如何从零构建集中式实时计算平台的？
通往架构师的成长学习之路
12-24 522
/01/ 实时计算演进 随着滴滴业务的发展，滴滴的实时计算架构也在快速演变。到目前为止大概经历了三个阶段，第一阶段是业务方自建小集群；第二阶段是集中式大集群、平台化；第三阶段是SQL化。图1标识了其中重要的里程碑，下面给出详细阐述。 在2017年以前滴滴并有没有统一的实时计算平台，而是各个业务方自建小集群。其中用到的引擎有Storm、JStorm、Spark Streaming、Samz...
实践:构建一个Storm分析解决方案
黑鸟速记本
12-21 414
实践:构建一个Storm分析解决方案 Strom使你能为任何可想象的需求创建一个实时分析服务。这里有一个非常好的使用Twitter数据的例子，源代码放在了GitHub上。 原文链接：http://www.javaworld.com/article/2860845/big-data/hands-on-build-a-storm-analytics-solution.html  作者 Ph
美团OCTO万亿级数据中心计算引擎技术解析
美团技术团队
04-23 8607
总第391篇2020年 第14篇美团自研的 OCTO 数据中心（简称 Watt）日均处理万亿级数据量，该系统具备较好的扩展能力及实时性，千台实例集群周运维成本低于10分钟。本文将详细阐述...
流计算框架 Flink 与 Storm 的性能对比
热门推荐
huangshulang1234的博客
12-20 2万+
流计算框架 Flink 与 Storm 的性能对比 1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试：https://tech.meituan.com/test-of-
美团点评基于Storm的实时数据处理实践
一个有情怀的程序猿博客
06-28 337
背景 目前美团点评已累计了丰富的线上交易与用户行为数据，为商家赋能需要我们有更强大的专业化数据加工能力，来帮助商家做出正确的决策从而提高用户体验。目前商家端产品在数据应用上主要基于离线数据加工，数据生产调度以“T+1”为主，伴随着越来越深入的精细化运营，实时数据应用诉求逾加强烈。本文将从目前主流实时数据处理引擎的特点和我们面临的问题出发，简单的介绍一下我们是如何搭建实时数据处理系统。 设计框架 目前比较流行的实时处理引擎有 Storm，Spark Streaming，Flink。每个引擎都有各自的..
代码随想录打卡Day65
最新发布
weixin_52151595的博客
10-17 822
今天是训练营倒数第二天，冲冲冲！！！！第一道题还稍微难理解一点，看了一段时间才彻底看懂，第二题思路还比较简单，稍微看了下思路就自己AC了，第三题属于是思路简单，看了下思路大部分代码都能写出来，但是里面有坑的，想那么快AC也没那么简单。
在 Spring 中使用 @EhCache 注解作为缓存
龚小帅的博客
10-15 1402
Spring 有一个内置的 EhCache 缓存管理器。这适用于大多数缓存情况，但我发现定义自定义缓存管理器非常有用，因为它允许我使用相同的缓存管理器以编程方式或通过注释控制缓存。本文重点介绍 annotations，但让我们继续定义一个自定义缓存管理器，以便在需要时做好准备。如果您更喜欢坚持使用 默认缓存管理器 ，您可以跳过此步骤。我们将在 ：super();
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值