张普的专栏

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批 Flink SQL 使用者拥有从 0 到 1 使用 Flink SQL 建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时5折使用SQL实现流处理的核心技术在了解了Table\SQLAPI的使用方法以及作业运行机制之后，接下来分析SQL实现流处理...

浅友们好~我是史中，我的日常生活是开撩五湖四海的科技大牛，我会尝试各种姿势，把他们的无边脑洞和温情故事讲给你听。如果你想和我做朋友，不妨加微信（shizhongmax）。你在被窝里刷手机岁月静好，一个“神秘引擎”却在远方和时间赛跑文 | 史中“时间就是金钱，效率就是生命。”1981年，一群年轻人用红油漆把这12个字刷在三合板上，立在了刚刚成立不久的深圳特区蛇口工业园。这句闪着文艺光泽的标语，宣示了...

分享嘉宾：李劲松阿里巴巴 技术专家编辑整理：吕宴全浙江大学出品平台：DataFunTalk导读：Flink Table Store 是 Apache Flink 的一个子项目，是Flink在推动流批一体演进中存储领域上的重要一环。考虑到 Flink Table Store 仍然是一个比较新的开源项目，本次分享将会对 Flink Table Store 设计初衷和未来规划进行整体介绍。本次分享会...

数据中台最近特别火，各个企业都在关注如何构建自己的数据中台，利用数据中台打造数据驱动的经营能力。数据中台的概念漫天飞，作为最早为企业提供数据中台构建服务的实践者，我们希望将一些落地的经验和教训给到那些正在考虑建设数据中台的企业。我们将一些大家关注的核心问题整理出来，做成N问数据中台（先出八问），结合真实的案例，从概念和实践的层面给与解读。导读，文章万字左右，重点内容导读如下...

流计算的应用与实践在大数据领域越来越常见，其重要性不言而喻，常见的流计算引擎有 Google DataFlow、Apache Flink，Apache Kafka Streams，Apache Spark Streaming 等。流计算系统中的数据一致性一般是用消息处理语义来定义的，如某引擎声称可以提供「恰好一次（Exactly-once Processing Semantics）流处理语义，表示...

分享嘉宾：马汶园抖音电商实时数仓团队编辑整理：范舒阳 字节跳动出品平台：DataFunTalk导读：本讲嘉宾是来自抖音电商实时数仓团队的大数据工程师马汶园，分享主题为基于数据湖技术的近实时场景实践。主要包括以下几部分内容：数据湖技术的特性近实时技术的架构电商数仓实践未来的挑战与规划01数据湖技术特性1. 数据湖概念从数据研发与应用的角度，数据湖技术具有以下特点：首先，数据湖可存储海量、低加工的原...

OLAP概念OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。与之对应的是OLTP（on-line transaction processing）即联机事务处理，也就是我们熟知的关系系数据处理，比喻说MySQL、Oracle等，用来记录某类业务发生的行为，其强调的是在线事务处...

秋招开始了，目前已经有很多公司开始了招聘工作。为了帮大家节约面试时间，给大家搞来了一系列 2022 大数据面试真题和面试笔记，这里整理同步一下，希望有面试需求的朋友能有一点帮助。内容非常的全面。不管最近要不要去面试，建议大家都保存一份！！学完之后不论是厂内晋升还是跳槽涨薪都不在话下！内容如下：（大厂面试真题 - Java基础）（hadoop - Flink）面试详解（Hive - spar...

分享嘉宾：朱凯 明源云 大数据平台首席专家编辑整理：肖鹏 VIVO出品平台：DataFunTalk导读：都说天下武功唯快不破，ClickHouse 从2016年诞生至今就一直快字著称。ClickHouse不仅性能快，其发版速度也快得惊人。仅在2021年就发布了数千个新特性，今天主要分享的内容是对ClickHouse的简单科普以及它在2021年中发布的5个重要的特性。全文主...

作者：松果出行数据中台部门松果出行成立于 2017 年，以“构建更智慧的交通基础设施，提升全球所有人的移动能力”为使命，定位于“以工业互联网为基础的交通科技公司”。松果出行创新打造“工业互联网在交通科技领域的典型样本”，构建由工业基础、落地产品、数字引擎和科技应用组成的完整产业生态。松果智能工厂（合肥）是全球首个电动两轮车智能自动化整装工厂，以严格的国标车型，满足政府监管...

备注：该系列连载6-8篇左右，InfoQ 首发。本文中不分享与涉及数字化转型概念以及方法论， 这一篇是随笔记录方式，不是一篇完整的文章。(各大媒体以及网上各大网站以及很多专家都在讲述数字化转型各种方法论) 。首先给大家分享一段数字化转型具体实施的经历吧。曾经有幸加入一家头部的产业互联网做数据中台相关工作，这个数据中台经过多年三代数据人的建设，从之前的被动响应逐步缓慢转为主...

摘要：本文整理自京东高级技术专家韩飞在 Flink Forward Asia 2021 流批一体专场的分享。主要内容包括：整体思考技术方案及优化落地案例未来展望Tips：点击「阅读原文」查看原文视频&PPT～01整体思考提到流批一体，不得不提传统的大数据平台 —— Lambda 架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开...

最近感慨面试难的人越来越多了，一方面是市场环境，更重要的一方面是企业要求越来越高了。对于大数据这行来说一直是缺人的，之前是做大数据的人本来就少，还得从 Java 那边扒拉合适的；现在做大数据的人是多了，但很多却只停留在框架的应用阶段，广度不足，深度不够，根本没有 trouble-shooting 的能力。所以在这段时间想跳槽加薪，或者是想转战大数据这行的朋友，就一定要好好...

背景介绍Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。ClickHouse是俄罗斯的搜索公司Yandex开源的MPP架构的分析引擎，号称比事务数据库快100-100...

ZooKeeper中，数据存储分为两部分，内存数据(ZKDatabase)与磁盘数据(事务日志 + 事务快照)。ZKDatabaseZooKeeper的数据模型是一棵树。而从使用角度看，ZooKeeper就像一个内存数据库一样，在内存数据库中，存储了整棵树的内容，包括所有的节点路径、节点数据以及ACL信息等。ZKDatabaseZKDatabase是ZooKeeper的内...

01业务特点及实时数仓保障痛点快手最大的业务特点就是数据量大。每天入口流量为万亿级别。对于这么大的流量入口，需要做合理的模型设计，防止重复读取的过度消耗。另外还要在数据源读取和标准化过程中，极致压榨性能保障入口流量的稳定执行。第二个特点是诉求多样化。快手业务的需求包括活动大屏的场景、2B 和 2C 的业务应用、内部核心看板以及搜索实时的支撑，不同的场景对于保障的要求都不一...

Apache Calcite 是一种提供了标准的 SQL 语言、多种查询优化和连接各种数据源基础框架，可以让用户轻松的接入各种数据，并实现使用SQL查询。此外，Calcite 还提供了 OLAP 和流处理的查询引擎。Calcite是什么Calcite 之前的名称叫做 optiq ，optiq 起初在 Hive 项目中，为 Hive 提供基于成本模型的优化，即 CBO（Co...

作者｜Jingsong Leejingsonglee0@gmail.com一、数仓中的计算在计算机领域，数据仓库（DW 或 DWH），是一个用于报告和数据分析的系统，被认为是商业智能的一个核心组成部分。它将当前和历史数据存储在一个地方，为整个企业的工作人员创建分析报告。[1]典型的基于提取、转换、加载（ETL）的数据仓库使用 ODS 层、DWD 层和 DWS 层来容纳...

分享嘉宾：杨诗旻字节跳动数据平台编辑整理：田长远出品平台：DataFunTalk导读：今天分享的主题是实时数据湖在字节跳动的实践，将围绕下面四点展开：对实时数据湖的解读在落地实时数据湖的过程中遇到的一些挑战和应对方式结合场景介绍实时数据湖在字节内部的一些实践案例数据湖发展的一些规划01对实时数据湖的解读数据湖的概念是比较宽泛的，不同的人可能有着不同的解读。这个名词诞生以...

在Flink编程中，不管你是使用DataStream api还是 Table/SQL ，接触最多的就是UserFunction ， 比喻说MapFunction、ScalarFunction, 在这些Function 里面可以自定义用户的业务处理逻辑，但是这些Function是如何被调用的呢？本文主要介绍Function 被调用的流程以及对应的方法如何被调用的。核心调用逻...