Flink
fengfengzai0101
这个作者很懒,什么都没留下…
展开
-
FlinkSQL连接JDBC
运行FlinkSQL./sql-client.sh embedded --jar /home/<username>/flink-connector-jdbc_2.11-1.11.0.jar --jar /home/<username>/mysql-connector-java-8.0.21.jar创建表CREATE TABLE test ( a string, b int, c string, PRIMARY KEY (a) NOT ENFORCED) WI原创 2020-09-17 14:30:15 · 1897 阅读 · 0 评论 -
FlinkSQL连接Kafka
创建kafka topickafka-topics --zookeeper test:2181 --topic test --partitions 1 --replication-factor 1 --create生成测试数据kafka-console-producer --broker-list test:9092 --topic test开启FlinkSQL./sql-client.sh embedded --jar /home/<username>/flink-sql-con原创 2020-09-17 12:50:06 · 2836 阅读 · 0 评论 -
Flink数据流容错原理
介绍Flink提供一种容错原理能够恢复数据流应用状态,这个原理确保在失败发生的时候,能够使数据流应用处理数据exactly once。当然也可以以at least once的方式处理数据。容错原理是持续画分布式流数据流转的snapshot,因为流应用拥有少的状态,所以这些snapshots非常轻量级,在频繁画snapshot的情况下,对性能没太大影响。流应用的状态存储在一个可配置的地方(例如,...原创 2019-12-10 15:27:47 · 790 阅读 · 0 评论