DataFlow范式

背景CDC，Change Data Capture，直译为变更数据捕获，反正能理解就对了。答案在哪里你是否在调研数据库数据实时复制方面，遇到以下问题：基于 binlog（transact...

今天，笔者将和读者一起聊聊一个令人轻松愉快的话题，关于深度学习。题外话最近，笔者取关了不少微信公众号，套路太深且广告太多，难道不明白大部分人的时间都不够用吗！说什么文正香，意更深，甚荒唐...

在本文中，笔者将详细研究 HDFS EC（Erasure Coding，纠删码），讲解什么是 HDFS EC，引入 EC 的原因，用于 EC 的算法，以及在 Hadoop 社区中为 EC...

插曲在上篇文章《推荐升级四部曲之 CDH 升级重头戏，收藏了！》中，一些人因为善良而容易相信初次看到的事情，觉得升级过程那么那么那么地顺风顺水，正准备养精蓄锐，大干一场，升级换代，大数据...

特别提醒为了保证文章整体的阅读性，笔者并没有将升级过程中遇到的所有问题都记录在本篇文章中，比如 Phoenix 版本不兼容和数据迁移，Hive 集成 Atlas 等。特别需要注意，HBa...

概要笔者最近在研究 CDH 大版本升级（CDH 5.16.2 -> CDH 6.3.3）的细节内容，涉及到每个组件的方方面面，确保升级过程中出现各种意外情况能够自主可控，降低未来生...

既然来了，就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi，虽比不上 StreamSets 华丽的外表，但是功能却很强大，在开源方面，NiFi 的企业级功能...

今天，笔者和大家聊一聊物联网（IoT），不少人都说物联网开启了万物互联时代，尤其是 5G 的逐渐普及和应用，将会构建万物互联的智能世界，实现物理世界的数...

今天笔者来聊一聊 ClickHouse 中的一个新特性，即 Live View 表。MA（Moving Average）提到 MA，估计大家最先想到的应...

温习下面的几张图片，感受一下今天将带来的主题氛围。笔者早在好几年前，做过一段时间的音视频流媒体技术的开发，当然大部分都是自娱自乐，没有实际的生产项目。那么多年过去了，音视频技术成熟度...

MIT 6.824，笔者在几年前刷完了一遍，过程还是相当折磨人的，但受益颇多。如今已是 2020 年了，这个特殊的一年，笔者想和大家一起拿起小板凳，准备好笔记本，再来完整地学习 MIT ...

在本篇文章中，笔者将给大家带来 Spark SQL 中关于自适应执行引擎（Spark Adaptive Execution）的内容。在之前的文章中，笔者介绍过 Flink SQL，目前 ...

据不完全统计，在生产环境中部署 Impala 集群时，大部分大数据工程师也会赠送一套 Kudu 环境，当然用不用另说。如果只部署了 Impala 而没有 Kudu，那应该是一个意外。如果...

风雨送春归，飞雪迎春到。已是悬崖百丈冰，犹有花枝俏。俏也不争春，只把春来报。待到山花烂漫时，她在丛中笑。选自《卜算子·咏梅》图片来自网络，如侵权，请联系删除有不少读者反馈，参考上篇文章《...

等疫情过去了，我们一起看春暖花开。Apache Spark 什么时候开始支持集成 Hive 功能？笔者相信只要使用过 Spark 的读者，应该都会说这是很久以前的事情了。那Apache...

图片来自网络，如侵权，请联系删除人生天地之间，若白驹过隙，忽然而已。对于每个人来说，每一年总会有那么一两件让自己铭记不忘的事情，或大或小，或轻或重。对笔者来说，其中一件就是开始坚持不定期...

流感无情，人间有情，总会有雨过天晴的时候。希望大家都能够平平安安，一切顺利。一些读者在公众号后台留言，希望笔者能对 PostgreSQL 的主备进行比较全面的介绍。正好春节前，笔者计划再...

众所周知，PostgreSQL 在国内的整体份额比不上 MySQL/MariaDB，但是号称世界上功能最为强大（没有更强，只有更强）的开源数据库之一，它在国内近几年发展势头明显。在大数据...

在大数据生态系统里面，分析型数据库产品众多，那么如何展示和洞察其中的数据价值呢？最直观的当然是可视化方式，如果没有可视化，再好的数据分析看起来也是苍白无力的，不完美的。数据可视化也是 B...

最近天气时好时坏，忽冷忽热，感冒的人有点多，注意防寒保暖。笔者讲解 Apache Flink 培训系列课程已经有一段时间了，一些读者反馈完成了所有实验并应用到生产实际案例，这真的非常棒，...