大数据每周分享第 008 期-CSDN博客

本文链接：https://blog.csdn.net/qq_31975963/article/details/120371998

这里记录过去一周，大数据相关值得分享的东西，每周日发布。
在这里插入图片描述

好久不见，断更了，最近开始接着写。再断更会发🧧 (•́へ•́╬)

文章目录

技术一瞥
文章
资源
订阅

技术一瞥

1.ClickHouse 新特性支持自定义函数了：大家想要的ClickHouse UDF这次终于来啦
2.Apache Zeppelin是一个为大数据而生的交互式Notebook，你可以在Zeppelin运行所有流行的大数据引擎（包括Spark，Flink，Hive，Prest，Impala 等等） Apache Zeppelin 0.10.0 官方正式发布

文章

本周推荐文章

1、37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
本文作者是 37 手游大数据开发徐润柏，介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案，主要内容包括：

Flink CDC 基本知识介绍
Hudi 基本知识介绍
37 手游的业务痛点和技术方案选型
37 手游湖仓一体介绍
Flink CDC + Hudi 实践
总结

2、Flink 在 58 同城的应用与实践
本文整理自 58 同城实时计算平台负责人冯海涛在 Flink Forward Asia 2020 分享的议题《Flink 在 58 同城应用与实践》，内容包括：

实时计算平台架
实时 SQL 建设
Storm 迁移 Flink 实践
一站式实时计算平台
后续规划

3、Flink 1.14 新特性预览

4、字节跳动大规模埋点数据治理最佳实践
介绍了字节跳动流量平台的埋点内容解决方案和埋点链路解决方案，揭秘了流量平台如何支撑起字节跳动万亿+的实时数据处理。

5、美团外卖实时数仓建设实践
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易开发、易维护且效率高的流水线，兼顾开发效率与生产成本，以较好的投入产出比满足业务的多样性需求。

6、携程数据血缘构建及应用
数据血缘是元数据管理、数据治理、数据质量的重要一环，追踪数据的来源、处理、出处，对数据价值评估提供依据，描述源数据流程、表、报表、即席查询之间的流向关系，表与表的依赖关系、表与离线ETL任务，调度平台，计算引擎之间的依赖关系。数据仓库是构建在Hive之上，而Hive的原始数据往往来自于生产DB，也会把计算结果导出到外部存储，异构数据源的表之间是有血缘关系的。

7、滴滴基于Binlog的采集架构与实践
本文分享了滴滴数据体系建设过程中，MySQL这一类数据源的采集架构和应用实践。

8、ClickHouse 实践 | ClickHouse 在腾讯游戏营销效果分析中的探索实践
本次分享主要介绍腾讯游戏营销效果分析的一些概况以及ClickHouse的应用实践情况。通过实践表明，ClickHouse完美解决了查询瓶颈，20亿行以下的数据量级查询，90%可以在亚秒（1秒内）给到结果

资源

1、Flink 社区 2021 最新最全学习渠道汇总
在开发者和用户的共同努力下，Flink 的功能日趋成熟和完善，Flink 社区也是日渐壮大！越来越多的新同学加入了小松鼠大本营。然而，新加入的小伙伴们可能会对学习和使用 Flink 缺少头绪。
为了让大家更方便地上手、更便捷地学习，小松鼠将社区已有的各方面学习资源都帮你总结好啦！本文将分享：