Flink
fct2001140269
大数据架构、地理信息系统
展开
-
flink安装部署(以及遇到的那些坑)
1.flink安装前的准备工作,需要做足;(Java、多台集群之间的免密码登录配置、修改主机名与ip映射、关闭防火墙等)2.安装方法参考:https://blog.csdn.net/xu470438000/article/details/794915333.此处说一下我遇到的问题:Flink有三种运行模式:local、standalone与常用的on yarn模式在测试on loca...原创 2018-10-05 00:20:18 · 3765 阅读 · 0 评论 -
flink on yarn模式
在flink on yarn模式中,flink yarn-session的两种提交方式两种提交方式1.yarn-session为flink app开辟公用资源在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。2.每个job提供一个yarn-session每次提交都会创建一个新的flink集群,任务之间互...原创 2018-12-29 09:43:48 · 636 阅读 · 0 评论 -
flink读取hdfs上多路径的文件
flink上多路径的文件支持似乎不太友好,目前没有找到更好的办法。在spark下可以使用的/root/data/20170101//root/data/20170102//root/data/20170103/…/root/data/20170201//root/data/20170202/…比如读取二月份的所有数据可以使用如下spark可以使用hdfs://hostname:9...原创 2018-12-29 10:07:37 · 6662 阅读 · 6 评论 -
Flink在standalone模式下的打包运行常见问题总结
Flink在standalone模式下的常见问题总结flink应用在读取或者写入hdfs的时候容易出现以下问题:错误1:java.io.IOException: DataStreamer Exception: at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:562)Cause...原创 2018-12-29 12:44:15 · 2988 阅读 · 0 评论 -
flink-on-yarn解读
相关参考资料: https://blog.csdn.net/wangweislk/article/details/79081769 【好文欣赏】在安装和flink相关包的机器上执行如下命令 (此处已经配置好flink环境变量):1.使用yarn-session启动相应的容器资源,初始化一个flink集群HADOOP_HOME=/hadoop/hadoop-2.7.2/ HADOOP_C...原创 2019-03-04 15:57:06 · 430 阅读 · 0 评论 -
Flink检查点失败问题-汇总
flink从检查点中恢复的问题从检查点恢复的时候,命令 ./flink run -s hdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1 -c com.mymain.MyTestMain报出以下错误:java.util.concurrent.CompletionException: org.apache.flink.util.FlinkExc...原创 2019-03-21 23:49:41 · 12098 阅读 · 0 评论 -
Flink日志输出查看方式
在网上查看flink日志查看方式,竟然查询不到,因此写下这篇文章,给有此困惑的小盆友们,也给自己做个总结!前情提要:我是通过flink web ui提交的flink任务的,因此通过flink ui查看自身控制台打印输出的。第一步:打开flink的Dashboard看到TaskManager的控制面板之后,点击右侧的具体job所在的taskManager主机进入如下界面,点迹Stdou...原创 2019-03-08 10:28:52 · 39428 阅读 · 18 评论 -
flink检查点checkpoint失败问题总结-2
检查点checkpoint失败问题总结(2):问题描述:检查点刚开始是可以的做checkpoint的,后期越来越不能够做checkpoint的情况总结:一.反压问题1.什么是反压(如下图1所示)?图2-1 部分算子反压表现(web ui)2.flink中反压机制是干什么的? flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度...原创 2019-03-21 15:08:53 · 11405 阅读 · 3 评论 -
Flink常见的关键技术与特性详解
转载:http://bigdata.51cto.com/art/201702/531036.htm Flink常见的关键技术与特性详解 Flink项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性,希望能够帮助读者对Fli...转载 2019-03-26 00:22:50 · 459 阅读 · 0 评论 -
Could not initialize keyed state backend--Flink恢复失败
Flink从checkpoint中恢复时候出现如下错误 Could not initialize keyed state backendMap (5/5)Timestamp: 2019-03-26, 13:41:53 Location: hd6:41889java.lang.IllegalStateException: Could not initialize keyed state bac...原创 2019-03-26 14:43:56 · 1196 阅读 · 0 评论 -
Flink应用提交到flink上的maven的pom.xml文件
Flink应用提交到flink上的maven的pom.xml文件主要功能介绍:提交到Flink集群中是运行结果,读取hdfs上的输入,然后处理之后输出数据到hdfs上;<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...原创 2018-12-27 19:59:07 · 3796 阅读 · 0 评论 -
flink开发实战之flink原理解析
flink开发实战之flink原理解析转载自:https://blog.csdn.net/aA518189/article/details/82908993转载 2018-12-10 10:21:02 · 1405 阅读 · 1 评论 -
Flink中scala提示错误——could not find implicit value for evidence parameter of type org.apa
Flink第一个简单的demo ,wordCountpackage cetc.flinkimport org.apache.flink.api.scala.ExecutionEnvironmentobject FlinKMain { def main(args: Array[String]): Unit = { // 1.设置运行环境 val env = Execu...原创 2018-11-14 14:42:36 · 7741 阅读 · 4 评论 -
Flink从kafka中消费数据--解析
一、情况介绍:基于scala语言的Flink从kafka中消费数据,然后使用protobuf解析,当然默认是使用string解析的,此处需要指定接收的数据格式package cetc.kakfa2flinkimport java.io.IOExceptionimport java.util.Propertiesimport com.hxy.protobuf.DSFusionimpo...原创 2018-11-14 17:05:35 · 8289 阅读 · 2 评论 -
在使用Flink广播变量broadcast时遇到的坑
在使用Flink广播变量遇到的坑如下代码中需要特别注意:(1)需要手动导入org.apache.flink.api.scala._(2)需要手动导入scala.collection.JavaConverters._【如果不手动导入该包,导致asScala使用隐式转换失败】package testbrocastimport org.apache.flink.api.common.fun...原创 2018-11-23 20:00:57 · 3261 阅读 · 3 评论 -
Flink学习点
Flink 基本工作原理https://blog.csdn.net/sxiaobei/article/details/80861070Flink流计算编程–状态与检查点 (五颗星)https://blog.csdn.net/lmalds/article/details/51982696Flink原理与实现:详解Flink中的状态管理https://blog.cs...原创 2018-11-19 23:57:54 · 137 阅读 · 0 评论 -
Flink中的序列化失败问题 和transent声明
最近在Flink的的map算子中使用了自义定类(实现richMapFunction)来序列化中存在的问题?一、背景介绍在编写Spark程序中,由于在map等算子内部使用了外部定义的变量和函数,从而引发Task未序列化问题。然而,Spark算子在计算过程中使用外部变量在许多情形下确实在所难免,比如在filter算子根据外部指定的条件进行过滤,map根据相应的配置进行变换等。为了解决上述Task未...原创 2018-11-28 21:56:51 · 4992 阅读 · 1 评论 -
Storm与Flink的比较
Storm与Flink的比较比较项StormFlink状态管理无状态,需用户自行进行状态管理有状态窗口支持对事件窗口支持较弱,缓存整个窗口的所有数据,窗口结束时一起计算窗口支持较为完善,自带一些窗口聚合方法,并且会自动管理窗口状态。消息投递At Most Once At Least OnceAt Most Once At Least Once ...原创 2018-11-25 11:27:34 · 6428 阅读 · 0 评论 -
流计算框架 Flink 与 Storm 的性能对比
转载自:https://tech.meituan.com/Flink_Benchmark.html流计算框架 Flink 与 Storm 的性能对比1. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的可靠性保证测...转载 2018-11-25 11:29:23 · 212 阅读 · 0 评论 -
Flink提交运行中常见问题总结
Flink提交运行中常见问题总结一、问题11.问题描述:提交jar到Flink集群时候出现:java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated可...原创 2018-12-19 16:29:10 · 7316 阅读 · 5 评论 -
在Flink集群搭建和使用中遇到的坑
一、项目概况使用Flink测试中间状态设置checkpoint和从checkpoint中恢复。二、搭建中出现的问题Flink的集群搭建中需要配置中间状态缓存的路径(项目中使用到的是在hdfs中存储中间状态)在集群中需要配置的项目是(如果需要中间状态的保存,这个必须的):##配置使用的web接口,用来访问集群。默认应该也可以jobmanager.web.address: 192.168....原创 2018-12-06 20:02:33 · 2399 阅读 · 0 评论 -
flink运行过程中常见错误总结
错误1.flink常见错误flink错误提示:missing parameter typeError:(24, 15) reference to StreamExecutionEnvironment is ambiguous;it is imported twice in the same scope byimport org.apache.flink.streaming.api.scal...原创 2019-05-10 09:29:02 · 5386 阅读 · 1 评论