- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink trigger 触发器demo
1,如果输出是数据的话，是不满足我们业务需求的 ，因为每次触发都是从头到尾的数据，我想要的是每次触发都是新的数据，可是触发器只能控制触发效果，不能做到控制输出结果，输出结果是由process函数决定的。没太多意义。2，完整代码package com.sjb.flink.trigger;import org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.api.common.functio.
2020-12-30 16:34:22
529
原创 aviator 表达式对象跟JSON结合使用方法
1，先看一个网站：http://www.jsontest.cn/2，实践出真知，JSON对象跟实体对象都可以这么搞：package com.aviator;/** * @program: flinkcep * @description: * @author: Mr.Wang * @create: 2020-11-30 18:04 **/import java.util.Date;import java.util.HashMap;import java.ut...
2020-12-30 10:58:13
3927
转载 Flink CDC生产实践-转载
MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。依赖关系为了设置MySQL CDC连接器，下表提供了使用构建自动化工具（例如Maven或SBT）和带有SQL JAR捆绑包的SQL Client的两个项目的依赖项信息。1、Maven依赖<dependency> <groupId>com.alibaba.ververica</groupId>
2020-12-29 15:23:30
1235
原创 zeppelin 屏蔽模块
起因：运维不让在web通过sh操作机器，因为没有经过堡垒机，没有操作记录做法：修改zeppelinconf目录下 配置文件 zeppelin-site.xml修改为：<property><name>zeppelin.interpreter.exclude</name><value>sh</value><description>All the inteprreters that you would lik...
2020-12-25 11:23:42
152
转载 转载-实战：Flink 1.12 维表 Join Hive 最新分区功能体验
我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求，其中 Hive 表是分区表，业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了，刚好支撑了这种业务场景，我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。 Flink 1.12前关联Hive最新分区方案 Flink 1.12关联Hive最新分区表 关联Hive最新分区De...
2020-12-23 09:01:12
746
1
原创 Flink防火墙开启状态下的端口问题
1，简单记录一下，开启防火墙的情况下，Flink执行任务报错，看日志就是端口timeout ,实际也是关闭防火墙的情况下，集群可以正常运行。2，查询官方之后，跟查询源码后，开放端口在flink-conf.yaml：taskmanager.rpc.port: 50100-50200metrics.internal.query-service.port: 50201-50300blob.server.port: 50301-50400还有默认的端口 8081 6123等端口...
2020-12-14 17:31:10
1908
原创 基于Flinkcep-1.11.2 动态规则修改实践
1，事先说明这个代码搞出来说白了就是在大佬的代码参考下完成的，之前就一直想搞cep规则动态修改，苦于对cep的源码不熟悉，没法下手。之前有个大佬搞过基于flink-cep 1.8版本的动态规则修改。后来有个大佬搞过基于flink-cep 1.1.0的。我看代码的逻辑是后者更复杂，前者更好理解，后者需要修改的地方太多，后来我仔细思考之后发现，还是前者效果更好一些。因为可以结合配置流，或者数据里面获取新的规则，实现规则的自动更新，后者可能需要定时获取规则比对是否发现修改。配置流这个目..
2020-12-10 15:09:00
2722
3
原创 apache iotdb 初步使用以及遇到的问题
1，安装iotdb1）下载zip包https://iotdb.apache.org/Download/unzip解压启动：2，Flink代码写入iotdbimport com.google.common.collect.Lists;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironme...
2020-12-01 20:10:36
3450
3
原创 Flink源码架构学习-01
因为我已经有基础了，所以直接从DataStream直接开始学习，但是还是从简单到难，一步步来吧，加油！1，我们从github下载源码，在本地idea的展示为：2，我们全局ctrl+alt+R搜索关键字DataStream，如下图的结构展示：3，选中DataStream，然后ctrl+H查看这个类的子类，我们发现4，通过idea的 UML显示图显示这个类DataStream的UML图：5，与DataStream同级的Stream有：这里...
2020-12-01 09:17:03
451
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人