blink的后续计划

1、tt收集mysql binlog如果有update和delete怎么处理

 

update相当于输入一行新的数据，tt不支持delete数据源。

binlog

操作类型	时间戳	用户	点击次数
insert	1525099013	Mary	1
insert	1525099026	Bob	1
update	1525099035	Mary	2
insert	1525099047	Llz	1
update	1525099056	Bob	2
update	1525099065	Mary	3

• replay binlog会得到如下表数据（按timestamp顺序)

时间戳	用户	点击次数
1525099065（后来update的）	Mary	3
1525099056（后来update的）	Bob	2
1525099047	Llz	1

2、目前TT数据默认保存3天，不支持修改
3、Shard是否和分区一样

Shard

即Queue数，资源读写的最小单位，Shard越多吞吐越大

4、消费时间能否设置为latest

startTime

读取TT开始的时间点

5、join如果没有update应该是一条新的数据和整个动态表进行join，如果有update怎么办

参考问题1，mysql的binlog有update时会有一条新的数据记录
6、ads写入应该是不能实现checkpoint的故障恢复的

应该没有
7、kafka信息内容是什么样，顺序消费，消费者组
 

案例1：grouping sets?相当于两个group by ，mysql的主键不知道怎么定义，一直报错

案例2、union all

案例3、having

案例4、双流join、维度表关联