- 博客(6)
- 资源 (1)
- 收藏
- 关注
转载 FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
不管是什么大数据组件大部分都分单机和集群模式,这次我配置的是kafka集群监控mysql binlog日志 一.Zookeeper和Kafka集群部署 我的服务器是三台节点 aliyun-bigdata-01 aliyun-bigdata-02 aliyun-bigdata-03 1.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启...
2021-11-25 16:59:24 951
转载 大数据中台-什么是中台一文详解就够了
怎么又提到数据中台了,现在不是都在拆中台了吗? 这是一个疑惑,我一直也疑惑,也没有认真想过,以前也是道中途说。没有想到面试的时候,面试官又问道这个问题了。 我一开始的理解是:数据中台整合了数据仓库、数据平台等,直到网上查阅了一些资料才知道,原来中台和平台、数仓是平行的,并没有什么直接的关系,看图: 三者的关键区别有以下几方面: 数据中台是企业级的逻辑概念,体现企业 D2V(Data to Value)...
2021-11-10 16:54:52 2180
转载 调研 FlinkSql功能测试及实战演练
【调研】FlinkSql功能测试及实战演练槐序i 2021-05-12 17:39:24 573 收藏分类专栏: flink版权flink专栏收录该内容14 篇文章0 订阅订阅专栏FlinkSql功能测试及实战演练前言:Flink在国内的占有率逐步提升的情况下,各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求,尝试研究flinksql的特性与功能,作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测试。本次测试主要集中在Kafka、mysql、Imp
2021-07-22 15:13:56 1095
原创 【备忘】hive 调优
–1.开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;–2)开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;–3)设置mapreduce中map输出数据的压缩方式set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;–4.开启hive最终输出数据压缩
2021-07-22 15:05:06 186
转载 我们在学习 Flink 的时候,到底在学习什么?
我们在学习 Flink 的时候,到底在学习什么?大数据与机器学习文摘 今天以下文章来源于大数据技术与架构 ,作者大数据技术与架构这是一篇指南和大纲性质的文章。Flink经过2年左右的官方和社区的大规模推广,现在国内的一众大小企业基本都在使用。我们在学习Flink的时候,到底重点学习哪些东西呢?从个人的学习经历来看,在学习任何一个新出现的框架或者技术点的时候,核心方法就是:【先看背景,整理大纲,逐个击破】。核心背景和论文知其然且知其所以然。Flink框架自提出到实现,是有深厚的理论作为背书的
2021-07-22 14:35:09 336
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人