flink
文章平均质量分 93
Jarvis数据之路
这个作者很懒,什么都没留下…
展开
-
flink学习及案例实战
文章目录集群模型和角色资源和资源组分布式缓存故障恢复和重启策略故障恢复fullregion重启策略Exactly-once过程窗口和时间窗口时间反压问题反压指标反压处理数据倾斜GC代码本身数据倾斜原因两阶段聚合解决 KeyBy 热点解决方案GroupBy + Aggregation 分组聚合热点问题解决方案Flink 消费 Kafka 上下游并行度不一致导致的数据倾斜解决方案Flink 维表关联实时查询维表预加载全量数据LRU 缓存Flink 去重基于状态后端基于 HyperLogLog基于布隆过滤器()基原创 2020-10-21 11:22:58 · 1545 阅读 · 1 评论 -
Flink代码及ui界面应用
文章目录Flink和Spark各自优劣底层机制SparkFlink运用支持语言Flink运行代码maven配置source部分&transform模块sink模块执行1、命令行执行2、Flink web ui配置job执行日志task manager日志Flink和Spark各自优劣底层机制SparkSpark的数据模型是弹性分布式数据集 RDD,这个内存数据结构使得spark可以通过固定内存做大批量计算。初期的Spark Streaming是通过将数据流转成批(micro-batches)原创 2020-09-25 12:32:26 · 3301 阅读 · 0 评论 -
Flink部署及集群(高可用)
文章目录Flink部署1、下载2、解压3、启动Flink3、开放端口80814、访问ui界面5、测试6、ui界面信息Flink集群配置1、资源分配:2、配置flink-conf.yaml文件3、配置masters文件4、配置slaves文件5、开放8899端口6、启动测试Flink实现JobManager High Availability (HA)修改配置文件启动 flink测试高可用是否生效问题集1、启动Flink报错:Flink部署1、下载官网下载地址:http://flink.apache.o原创 2020-09-25 12:31:09 · 1885 阅读 · 0 评论