![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
大曲·蜗牛
努力成为一个大数据的大佬
展开
-
flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.原创 2023-06-07 20:38:28 · 567 阅读 · 0 评论 -
Flink httpclient sink
接下来可以尝试展示原创 2022-10-08 14:11:43 · 1233 阅读 · 1 评论 -
flink 消费kafka数据几种方式
先总结三种方式,这三种就是常见的.原创 2022-06-14 16:28:05 · 6179 阅读 · 0 评论 -
flink elasticsearch sink
flink elasticsearch sink 目前我这边电脑资源不够耍,写入虚拟机很慢数据有差异.1.data 数据sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718207,36.3sensor_1,1547718209,32.8sensor_1,1547718212,37.1sensor_1,15477181原创 2022-02-16 10:52:30 · 1772 阅读 · 0 评论 -
flink 实现redis sink
最近,记录下这些常用的redis es 在fink中作为sink的使用方式,方便,后来使用1.data数据sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718207,36.3sensor_1,1547718209,32.8sensor_1,1547718212,37.1sensor_1,1547718199,35.原创 2022-02-16 09:40:54 · 819 阅读 · 0 评论 -
flink 流处理 批处理 && flink table&& sql 创建方式
object createProgramma { /** * goal: 回忆下 通常情况下 flink 批处理和流处理创建的方式 && flink SQL 创建的两种方式 */ def main(args: Array[String]): Unit = { //批处理的创建方式 val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnviron.原创 2021-12-03 16:50:09 · 1196 阅读 · 0 评论 -
创建flink的MqttSource (scala版本)
一.编写 MqttClient类class MqttClient { var url:String="tcp://192.168.174.206:1883" var flag:Boolean=true private val topicArr: Array[Topic] = List(new Topic("topic_test",QoS.AT_LEAST_ONCE),new Topic("topic_test",QoS.AT_MOST_ONCE),new Topic("topic_tes原创 2021-09-03 16:51:19 · 1080 阅读 · 0 评论 -
flink CDC (java 版本)
一.flink CDC 目前还有许多要完善的,用起来感觉还不错的,我这边自己研究了下.自己有些心得1.在flink cdc 自定义反序列化器 测试 修改主键后会终止程序 报错 Recovery is suppressed by NoRestartBackoffTimeStrategy我这边没时间继续查找研究.希望有人继续研究吧!2.希望flink cdc 支持 Oracle,这个很重要,成功了也是个壮举啊!二. mysql的配置 mysql肯定都安装 但是初学者找到这个配置确实有点难度指令:..原创 2021-07-13 15:56:40 · 2988 阅读 · 0 评论 -
Flink 入门案例和部署模式
1.Flink相关依赖<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.0</version> </depen原创 2021-06-11 08:57:23 · 173 阅读 · 0 评论 -
Flink 批处理
1.flink source(1)文件数据源val wordAgg: AggregateDataSet[(String, Int)] = env.readTextFile("./test.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1)wordAgg.print()(2)hdfs 数据源val hdfsDS: DataSet[String] = env.readTextFile("hdfs://node01:8020/t原创 2021-06-11 09:31:31 · 2035 阅读 · 0 评论 -
Flink 流式处理
一.三种Environment1.getExecutionEnvironmentval env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironmentval env1: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment2.createLocalEnvironmentval env2: Strea.原创 2021-06-11 09:56:09 · 275 阅读 · 3 评论 -
flink checkpoint 窗口函数
1.checkpointobject checkpointMain { def main(args: Array[String]): Unit = { //创建执行的环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //设置并行度 env.setParallelism(1) env.enableCheckpointing原创 2021-06-11 10:16:12 · 375 阅读 · 1 评论 -
Flink table SQL
批处理的案例object table_batch { def main(args: Array[String]): Unit = { //创建执行的环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment val tableENV: StreamTableEnvironment = StreamTableEnvironment.create(env)原创 2021-06-11 10:20:27 · 143 阅读 · 0 评论