非你想的那个 CDC,实为我这个 CDC 也 背景CDC,Change Data Capture,直译为变更数据捕获,反正能理解就对了。答案在哪里你是否在调研数据库数据实时复制方面,遇到以下问题:基于 binlog(transact...
来,换个轻松话题,深度学习 今天,笔者将和读者一起聊聊一个令人轻松愉快的话题,关于深度学习。题外话最近,笔者取关了不少微信公众号,套路太深且广告太多,难道不明白大部分人的时间都不够用吗!说什么文正香,意更深,甚荒唐...
Hadoop 3.x 时代,EC 露个脸呗! 在本文中,笔者将详细研究 HDFS EC(Erasure Coding,纠删码),讲解什么是 HDFS EC,引入 EC 的原因,用于 EC 的算法,以及在 Hadoop 社区中为 EC...
推荐升级四部曲之 CDH 手动升级,奔涌吧! 插曲在上篇文章《推荐升级四部曲之 CDH 升级重头戏,收藏了!》中,一些人因为善良而容易相信初次看到的事情,觉得升级过程那么那么那么地顺风顺水,正准备养精蓄锐,大干一场,升级换代,大数据...
推荐升级四部曲之 CDH 升级重头戏,收藏了! 特别提醒为了保证文章整体的阅读性,笔者并没有将升级过程中遇到的所有问题都记录在本篇文章中,比如 Phoenix 版本不兼容和数据迁移,Hive 集成 Atlas 等。特别需要注意,HBa...
推荐升级四部曲之 CM 升级,收藏了! 概要笔者最近在研究 CDH 大版本升级(CDH 5.16.2 -> CDH 6.3.3)的细节内容,涉及到每个组件的方方面面,确保升级过程中出现各种意外情况能够自主可控,降低未来生...
Apache NiFi 如何从入门到不放弃? 既然来了,就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi,虽比不上 StreamSets 华丽的外表,但是功能却很强大,在开源方面,NiFi 的企业级功能...
ClickHouse 新特性 Live View 体验 今天笔者来聊一聊 ClickHouse 中的一个新特性,即 Live View 表。MA(Moving Average)提到 MA,估计大家最先想到的应...
快来,视频会议要开始了 温习下面的几张图片,感受一下今天将带来的主题氛围。笔者早在好几年前,做过一段时间的音视频流媒体技术的开发,当然大部分都是自娱自乐,没有实际的生产项目。那么多年过去了,音视频技术成熟度...
2020 MIT 6.824 分布式系统课程 MIT 6.824,笔者在几年前刷完了一遍,过程还是相当折磨人的,但受益颇多。如今已是 2020 年了,这个特殊的一年,笔者想和大家一起拿起小板凳,准备好笔记本,再来完整地学习 MIT ...
Spark SQL 自适应执行优化引擎 在本篇文章中,笔者将给大家带来 Spark SQL 中关于自适应执行引擎(Spark Adaptive Execution)的内容。在之前的文章中,笔者介绍过 Flink SQL,目前 ...
涅槃重生:KRPC 实现 Impala 的飞跃 据不完全统计,在生产环境中部署 Impala 集群时,大部分大数据工程师也会赠送一套 Kudu 环境,当然用不用另说。如果只部署了 Impala 而没有 Kudu,那应该是一个意外。如果...
Flink 与 Hive 的磨合期 风雨送春归,飞雪迎春到。已是悬崖百丈冰,犹有花枝俏。俏也不争春,只把春来报。待到山花烂漫时,她在丛中笑。选自《卜算子·咏梅》图片来自网络,如侵权,请联系删除有不少读者反馈,参考上篇文章《...
Hive 终于等来了 Flink 等疫情过去了,我们一起看春暖花开。Apache Spark 什么时候开始支持集成 Hive 功能?笔者相信只要使用过 Spark 的读者,应该都会说这是很久以前的事情了。那Apache...
只争朝夕,不负韶华 图片来自网络,如侵权,请联系删除人生天地之间,若白驹过隙,忽然而已。对于每个人来说,每一年总会有那么一两件让自己铭记不忘的事情,或大或小,或轻或重。对笔者来说,其中一件就是开始坚持不定期...
PostgreSQL 复制方案(管够) 流感无情,人间有情,总会有雨过天晴的时候。希望大家都能够平平安安,一切顺利。一些读者在公众号后台留言,希望笔者能对 PostgreSQL 的主备进行比较全面的介绍。正好春节前,笔者计划再...
PostgreSQL Replication 101 - 故障转移 众所周知,PostgreSQL 在国内的整体份额比不上 MySQL/MariaDB,但是号称世界上功能最为强大(没有更强,只有更强)的开源数据库之一,它在国内近几年发展势头明显。在大数据...
所见即所得式数据探索,让数据价值更美丽 在大数据生态系统里面,分析型数据库产品众多,那么如何展示和洞察其中的数据价值呢?最直观的当然是可视化方式,如果没有可视化,再好的数据分析看起来也是苍白无力的,不完美的。数据可视化也是 B...
打开窗,让 Flink 驻进 最近天气时好时坏,忽冷忽热,感冒的人有点多,注意防寒保暖。笔者讲解 Apache Flink 培训系列课程已经有一段时间了,一些读者反馈完成了所有实验并应用到生产实际案例,这真的非常棒,...