flink
red-Rain
是什么,为什么,怎么做,原理是
展开
-
flink 异常记录
1:java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/Product;)V设置对应的scala版本解答:jar包引用和运行时的scala版本不同,如果在开发过程遇到修改了环境配置还有这个问题,应该关闭所有idea窗口再打开才能生效。...原创 2020-11-27 09:38:46 · 266 阅读 · 0 评论 -
flinkSql连接kafkaddl配置
选项必要类型描述connector需要String指定要使用的连接器,对于Kafka,选项为:‘kafka’, ‘kafka-0.11’, ‘kafka-0.10’.topic需要String主题名称properties.bootstrap.servers需要String用逗号分隔的Kafka brokers列表。properties.group.id通过源设定String卡夫卡源的使用者组的标识,卡夫卡接收器是可选的。format需...翻译 2020-11-26 17:27:01 · 1618 阅读 · 0 评论 -
flink内存管理认识
了解flink内存管理对理解flink作业有很大的帮助,也可以解决一些程序运行问题,所以接下来进行flink的内存管理学习本次学习的主要资料来源是flink中文学习网站 ververiva.cn上图是flink资源调度划分,job是任务级别的,task是进程级别,进程级别是程序执行的最小单位,所以我将详细了解task的内存管理情况如下图所示,看上去有点眼花缭乱,怎么一个小小的slot里要区分这么多内存类型?貌似因为在以后slot有望进行slot之间的资源共享,也就是不耗内存的slot可以分一些资源给原创 2020-11-25 10:48:52 · 341 阅读 · 0 评论 -
Flink 生产配置实践<搬运>
以下是搬运flink官方教学视频运维篇配置原作者–席建刚(趣头条 实时平台负责人)#jobManager的IP地址jobmanager.rpc.address: localhost#JobManager的端口号jobmanager.rpc.port: 6123JobManager JvM heap 内存大小JVMjobmanager.heap.mb: 1024#TaskManager JvM heap内存大小JVMtaskmanager.heap.mb: 1024#每个TaskManager提转载 2020-11-23 12:14:24 · 412 阅读 · 0 评论 -
flink基础知识之window的灵活计算--aggregate
flink基础知识之window的灵活计算–aggregate在前面的博客里,我讲过window的Trigger,它是窗口的触发器可以灵活的控制窗口的关闭,今天我要介绍window的灵活计算,windos的aggregate方法。AggregateFunction内置有四个方法:createAccumulator()我的理解是定义一个用于累加的容器add()add()是一个很重要的方法,有两个参数IN value, ACC accumulator,value是输入数据,acc是我们定义的容器,我原创 2020-10-30 23:46:39 · 1254 阅读 · 0 评论 -
flinkTrigger基础认识
flinkTrigger是什么,为什么,怎么做,原理是是什么:trigger是flink窗口的触发器,也就是说它决定着什么时候窗口关闭,它有四个内置方法,*onElement() 方法会在窗口中每进入一条数据的时候调用一次*onProcessingTime() 方法会在一个ProcessingTime定时器触发的时候调用*onEventTime()方法会在一个EventTime定时器触发的时候调用*clear()方法会在窗口清除的时候调用比如说在一个对学生分数进行keyby–windo原创 2020-10-29 12:22:36 · 362 阅读 · 0 评论 -
window安装hadoop客户端
window安装hadoop客户端场景提示:在我做flink到hive的sink练习的时候,运行代码时发生异常:HADOOP_HOMEand hadoop.home.dir are unset1:分析:我在本地虚拟机已经按照hadoop集群,在工程里的配置也指向我的集群地址,讲实话想不到会是什么原因导致没有设置hadoop,在网上查资料解释是说我没有在本地安装hadoop,但我以为我在集群部署了。后来想经验丰富的大佬求问才知道我需要在window安装hadoop的客户端才行,并不需要安hadoop,因为原创 2020-10-09 23:11:49 · 465 阅读 · 0 评论