大数据实践
文章平均质量分 84
csdn_lan
这个作者很懒,什么都没留下…
展开
-
FlinkCDC数据同步Bug——同步性能由于写入并行度限制无法提升问题的解决
使用FlinkCDC进行数据同步时,出现增量阶段写入并行度强制为1导致整体同步性能无法提升问题的解决方案原创 2023-05-10 17:09:45 · 1537 阅读 · 0 评论 -
数据同步工具的研究(实时)
数据同步工具的研究(实时同步):FlinkCDC、Canal、Maxwell、Debezium原创 2023-03-02 15:33:19 · 1426 阅读 · 0 评论 -
Flink任务监控实现——EMRFlink-YarnSessionDeploy
基于阿里云的EMR Flink On ECS集群的任务监控实现。集群部署方式为YarnSession原创 2023-02-28 17:36:31 · 485 阅读 · 0 评论 -
HMaster组件异常导致Flink写HBase任务频繁重启问题解决
HMaster组件异常导致Flink写HBase任务频繁重启问题解决原创 2023-02-09 07:09:43 · 574 阅读 · 0 评论 -
基于flinkcdc和superset的实时大屏实践2
准备环境:1)EMR-Flink-Cluster3.36.1(HDFS2.8.5 YARN2.8.5 Flink1.12-vvr-3.0.2)2)Rds-Mysql 5.7.263)EMR-Kafka-Cluster4.9.0(Kafka_2.12-2.4.1-1.0.0 Zookeeper3.6.2)4)Debezium-Mysql-Connector 1.2.05)EMR-Hadoop-Cluster4.9.0(SuperSet0.36.0)方案理由及解决问题:1.原创 2021-09-10 09:55:26 · 805 阅读 · 0 评论 -
EMR-Hadoop4.9.0引入Phoenix服务查询HBase
Target:此文目的是为了记录一个临时性的HBase查询需求(需要按照"info:time"过滤出某一天的数据总量),由于Hbase Shell不支持SQL协议查询不变,引入了Phoeinx使用SQL完成此需求。另外,EMR4.9.0是不原生支持Phoenix服务的,故有此一文。软件版本:EMR4.9.0(HDFS3.2.1 Yarn3.2.1 Zookeeper3.6.2 HBase2.3.4)Phoenix5.1.0HBase配置(hbase-site.xml):原创 2021-08-27 23:28:23 · 286 阅读 · 0 评论 -
基于flinkcdc和superset的实时大屏实践
准备环境:1)EMR-Flink-Cluster3.36.1(HDFS2.8.5 YARN2.8.5 Flink1.12-vvr-3.0.2)2)Rds-Mysql 5.7.263)EMR-Hadoop-Cluster4.9.0(SuperSet0.36.0)方案架构:测试EMR-Flink集群可用性:对初始flink集群进行的配置:1)Hdfs参数dfs.webhdfs.enabled置为true,以支持web访问hdfs(3版本默认支持);2)Hdfs参数..原创 2021-08-17 17:12:37 · 1329 阅读 · 0 评论