- 博客(7)
- 收藏
- 关注
RSS订阅原创 美团点评基于 Flink 的实时数仓平台实践
摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。主要内容为以下三个方面： 实时计算演进与业务实践 基于 Flink 的实时数仓平台 未来发展与思考 一、美团点评...
2020-01-21 16:04:42
663
转载 Java动态追踪技术探究
作者简介高扬，2017年加入美团打车，负责美团打车结算系统的开发。引子在遥远的希艾斯星球爪哇国塞沃城中，两名年轻的程序员正在为一件事情苦恼，程序出问题了，一时看不出问题出在哪里，于是有了以下对话：“Debug一下吧。”“线上机器，没开Debug端口。”“看日志，看看请求值和返回值分别是什么？”“那段代码没打印日志。”“改代码，加日志，重新发布一次。”“怀疑是线程池...
2020-01-19 16:28:40
232
原创 k8s 的基本介绍
一、k8s 基本特性 （1）自动装箱 构建于容器之上，基于资源依赖及其他约束自动完成容器部署且不影响其可用性，并通过调度机制混合关键型应用和非关键型应用的工作负载于同一节点以提升资源利用率。 （2）自我修复（自我治愈） 支持容器故障后自动重启、节点故障后重新调度容器，以及其他可用节点、健康状态检查失败后关闭容器并重新创建等自我修复机制。 （3）...
2020-01-16 00:22:30
713
原创 Linux 中的零拷贝技术
本文探讨Linux中 主要的几种零拷贝技术 以及零拷贝技术 适用的场景 。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：1 引文在写一个服务端程序时（Web Server或者文件服务器），文件下载是一个基本功能。这时候服务端的任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去，我们通常用下面的代码完成：while((n = read(...
2020-01-14 00:47:01
154
原创 Hudi剖析|Apache Hudi Rollback实现分析
1. 介绍 在发现有些commit出错时，可使用Hudi提供的rollback回滚至指定的commit，这样可防止出现错误的结果，并且当一次commit失败时，也会进行rollback操作，保证一次commit的原子性。2. 分析 rollback（回滚）的入口在 HoodieWriteClient#rollback，其依赖 HoodieWriteClient#roll...
2020-01-13 17:12:15
2403
原创 ApacheHudi使用问题汇总(二)
1. Hudi Cleaner是做什么的？ Hudi Cleaner（清理程序）通常在 commit和 deltacommit之后立即运行，删除不再需要的旧文件。如果在使用增量拉取功能，请确保配置了清理项来保留足够数量的commit(提交)，以便可以回退，另一个考虑因素是为长时间运行的作业提供足够的时间来完成运行。否则，Cleaner可能会删除该作业正在读取或可能被其读取的文件，并...
2020-01-08 17:40:26
3017
原创 ApacheHudi使用问题汇总(一)
1.如何写入Hudi数据集 通常，你会从源获取部分更新/插入，然后对Hudi数据集执行写入操作。如果从其他标准来源（如Kafka或tailf DFS）中提取数据，那么DeltaStreamer将会非常有用，其提供了一种简单的自我管理解决方案，可将数据写入Hudi。你还可以自己编写代码，使用Spark数据源API从自定义源获取数据，并使用Hudi数据源写入Hudi。2. 如何部署...
2020-01-08 11:01:37
1908
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人