- 博客(7)
- 收藏
- 关注
原创 MMP数据库greenplum,与hadoop的区别
1.什么是greenplum?一种MMP 无共享架构的数据库,擅长olap联机分析。基于postgre内核 ,interconnect并行调度,分布式事务两段提交,还有分区表 外部表 行列存储 高可用。2.greenplum的架构及功能?一个集群由多个数据库实例组成。master:生成查询计划并派发协调segement并行计算interconnect组件segement:执行查询计划及数据存储管理3.greenplum特点(1)数据存储:以行列表的方式进行存储,采用hash分
2022-03-03 23:20:22
3816
原创 adb数据库posgre版设计规范及性能调优
什么是adb for pg?答:1.云原生(资源池化,动态升降配)数据仓库,基于postgreSQL内核2.基于MMP架构存储和计算能力可水平拓展;支持按区间或值分区的分区表3.支持sql2008语法及OLAP分析聚合函数,支持视图,pl/sql UDF和触发器,部分兼容ORACLE语法4.支持行和列存储,支持多种索引。支持压缩技术(列式存储下)5.支持标准数据库隔离级别,支持分布式事物保持数据一致性6.向量化计算引擎,cascade架构查询优化器 支持复杂sql的高性能分析ad
2022-02-24 22:31:16
1701
原创 flink学习记录之水位线
水位线的概念理解及工作原理:watermark是用于处理由于网络、背压等原因产生的乱序事件,窗口结束时间+延迟时间=最大waterMark值,即当waterMark值大于的上述计算出的最大waterMark值,该窗口内的数据就属于迟到的数据,无法参与window计算;代码中生成水位线的时间(即调用assignTimestampsAndWatermarks(WatermarkStrategy<T>watermarkStrategy)方法的时间)可为source之后,也可为使用算子之后,。真
2022-02-23 23:35:48
1823
原创 flink sql之自定义connenctor
解决场景:使用阿里云flink 托管平台 flink sql,数据流不是连续的,计算某个时间段内数据,计算周期可能跨时间段,窗口默认左闭右开,数据流的末尾窗口,需要左闭右闭,在datastream api中可通过自定义窗口和自定义watermark来解决这个问题,为解决flink sql中业务规则产生的问题,可通过自定义connector中在原生窗口下的水位线推进。实现原理参考这个:自定义生成水印:www.modb.pro/db/44375 自定义connenctor:https://www.jians
2022-02-21 23:29:30
1068
原创 kafka学习记录0
学习B站kafka视频总结。1.kafka的作用解耦 异步通信 峰值处理 缓冲 可恢复性2.kafka的架构producerconsumer/consumer group:消费者组,消费者组内的每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。即一个分区能被多个消费者消费且这几个消费者分属不同消费者组。borker:指的是一台kafka服务器,多个broker构成cluster,一个broker可容纳多个topic。topic:一个队列,等同于数据库中的一个表
2022-02-13 21:04:11
976
原创 《kafka权威指南》学习记录之消费者
注:本博客该系列作为学习kafka的概要记录,再在之后的学习或工作中实践,提高效率。二.消费者1.消费者 消费者组 主题 partition之间的关系每个topic的每个partition只能被一个消费者组中的一个消费者消费。2.消费者的分区策略三种:roundrobin range stickyassignor.要点:三种策略具体怎么分区,优缺点,适用场景,对应配置partition.assignment.strategy,分配分区的过程3.分区再平衡什么情况下会触发再平衡?
2022-02-09 23:22:24
627
原创 《kafka权威指南》学习记录1
一.kafka生产者1.kafka生产者组件main线程 send线程 producerrecord对象 序列化器 分区器。Producerrecord对象格式:topic [key] [partition] value2.生产者发送消息过程3.kafka生产者应用程序开发步骤创建生产者Properties KafkaProducer 三个必须配置:kafka ip,key和value的序列化方式。发送消息到kafka发送并忘记同步发送:feature对象的get方法
2022-02-08 23:07:25
1154
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人