![](https://img-blog.csdnimg.cn/20200422112535898.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
1.Flink
Flink开发
SuperBigData~
大数据行业热爱者,欢迎交流学习,共同进步
展开
-
Flink快速入门系列(3) | Flink基本配置和启动集群,提交任务和测试,命令行操作及其它部署方式
美图欣赏:康完,漂酿的小姐姐,是否感觉写代码更有动力呢? 嘿嘿,欢迎小伙伴们在评论区留言呦~目录一.基本配置和启动集群1.1 基本配置1.2 启动集群二.提交任务和测试2.1 提交任务2.2 Web UI jar包测试三.命令行操作及其它部署方式3.1 命令行操作3.2 Yarn 模式3.3 Kubernetes 模式一.基本配置和启动集群1.1 基本配置Standalone模式为代表1.解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz2.进入 co原创 2020-07-09 09:48:47 · 1733 阅读 · 2 评论 -
Flink中Sink时分别不设置setParallelism,setParallelism(1)和setParallelism(n)之间区别
大家好,我是Jackson,是一名计算机学院大数据专业大二的学生。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!个人VX:LQ1518123002,欢迎与大家交流。前言:基础不牢,地动山摇。1.不设置setParallelism代码import org.apache.flink.streaming.api....原创 2020-07-04 15:56:32 · 4132 阅读 · 1 评论 -
Flink中 The elements in the collection are not all subclasses of java.lang.String 报错
一.背景自定义Sourc,采用elements方法二.代码 env.fromElements("aa" , "aa","bb",3.0).print()翻译了下报错:三.解决办法查看源码:元素必须全部为“相同类型”代码修改: env.fromElements(("aa" , 1,2.0),("aa",1,9.2)).print()运行结果:4> (aa,1,2.0)5> (aa,1.9,2)Process finished with exit co原创 2020-06-10 00:54:01 · 339 阅读 · 0 评论 -
搞定Flink架构流程图
Flink架构流程图:如果我的博客对你有帮助、如果你喜欢我的博客内容,可以点个赞哟当然也可以加VX:LQ518123002,一起共同学习交流Flink。大家的支持就是我坚持下去的动力。原创 2020-06-06 16:19:23 · 3706 阅读 · 0 评论 -
如何在文件中,jps找到运行Flink的pid进程号
请看,下面这个图片:成功找到,进程号。如果进程结束,那么对应文件将会消失。原创 2020-06-03 16:38:53 · 1738 阅读 · 0 评论 -
解决Flink中报 java.net.ConnectException:拒绝连接 在java.net.PlainSocketImpl.socketConnect
一.报错如下这种报错的原因是,你写的代码连接不到你指定的Flink集群可以看下,报错的日志二.解决办法我这里只是测试wordcount,做个Demo因此在WebUI提交jar包时,先启动nc -lk 端口,然后就可以解决这个报错了。三.测试成功1.先在linux下启动,nc -lk 666[root@bigdata115 flink-1.7.2]# nc -lk 666hello flinkhello jacksonhello jack2.在提交jar包查看发送原创 2020-06-03 15:26:56 · 7306 阅读 · 5 评论 -
手残,rm -fr *血的教训
换了大忌了一.背景二.删除前三开始删除四.删除后一.背景rm -fr *血的教训原本我只想删除flink-1.7.2版本,然后重新搭建。结果 一个 rm -fr * flink-1.7.2,里面目录全没了卧槽,手残了。二.删除前三开始删除四.删除后全没了,卧槽。手残千万别手残啊,结果很严重,从细节做起。 ————保持饥饿,保持学习 Jackson_MVP原创 2020-05-29 18:42:49 · 330 阅读 · 2 评论 -
解决Flink中org.apache.flink.client.program.ProgramInvocationException:在jar文件中找不到
一.报错内容org.apache.flink.client.program.ProgramInvocationException:在jar文件中找不到图片:二.报错原因pom文件中,打包插件问题三.解决办法(亲测有效)pom中打包插件,换成这个: <build> <plugins> <plugin> <groupId>org.scala-..原创 2020-05-27 19:38:49 · 16341 阅读 · 2 评论 -
解决Flink中could not find implicit value for evidence parameter of type报错
一.出现报错Error:(23, 41) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String]val wordcount = inputDataSet.flatMap(_.split(" "))翻译:错误:(23,41)找不到类型为org.apache.flink.api.common.typeinfo.Typ原创 2020-05-24 18:35:55 · 1537 阅读 · 0 评论 -
flink中min和minby区别 同理 max和maxby区别
flink中min和minby区别一.min和minby介绍二.min和minby介绍代码演示三.同理max和maxby一.min和minby介绍max、min、sum 会分别返回最大值、最小值和汇总值;而 minBy 和 maxBy 则会把最小或者最大的元素全部返回。Aggregations 为聚合函数的总称,常见的聚合函数包括但不限于 sum、max、min 等。Aggregatio...原创 2020-04-28 23:09:07 · 4959 阅读 · 15 评论 -
Flink SQL 做 WordCount
美图欣赏:一.FlinkTable&SQLWordCount介绍一个完整的FlinkSQL编写的程序包括如下三部分●SourceOperator:是对外部数据源的抽象,目前ApacheFlink内置了很多常用的数据源实现比如MySQL、Kafka等●TransformationOperators:算子操作主要完成比如查询、聚合操作等目前Flin...原创 2020-04-21 23:53:24 · 549 阅读 · 0 评论 -
真实分析Flink滑动窗口原理
美图欣赏:闲谈一刻一名大二学生,Flink技术的热爱者。学习过程中,一定要学会深入思考 (划重点)一.窗口背景Flink的窗口机制是其底层核心之一,也是高效流处理的关键。A.窗口需求在Streaming应用程序的情况下,数据是连续的,因此我们不能等待在开始处理之前流式传输整个数据。当然,我们可以处理每个传入的事件,然后转移到下一个事件,但在某些情况...原创 2020-04-21 19:51:51 · 2303 阅读 · 0 评论 -
Flink主要特点
美图欣赏:Flink特点1.flink简介2.处理无界和有界数据3.在任何地方部署应用程序1.flink简介Apache Flink是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行,以内存速度和任意规模执行计算。2.处理无界和有界数据任何类型的数据都是作为事件流产生的。信用卡交易,传感器测量,机器日志或网站或移...原创 2020-04-20 18:11:25 · 4521 阅读 · 0 评论 -
为什么要学习Flink?
美图欣赏:闲谈时间过的飞快,一转眼大二美好日子,就快结束了。今天不吃学习的苦,明天会吃生活的苦一定要学会独立思考(划重点)一.背景 技术一直在随着时代的发展而更新,也是不可否认的。从2006年Hadoop开始,因为它的成本比较低,满足自当时社会需求 到2009年Spark出现,它启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工...原创 2020-04-19 21:11:08 · 487 阅读 · 0 评论 -
Flink任务提交流程和任务调度原理
美图欣赏:一.任务提交流程:Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn ResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster,ApplicationMaster启动后加载Flink的Jar包和配置...原创 2020-01-30 22:14:46 · 4521 阅读 · 0 评论 -
Flink用Java测试WordCount
美图欣赏:Flink编程模型 每个Flink程序都包含以下若干流程 1、获取执行环境 2、加载、创建初始数据 source 3、转换数据 transformation 4、放置计算结果位置 sink ...原创 2020-01-30 22:01:23 · 1573 阅读 · 0 评论 -
Flink的出生之谜
美图欣赏:初识FlinkFlink起源于Stratosphere项目,Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会,参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员,2014年12月,Flink一跃成为Apach...原创 2020-01-29 20:08:49 · 777 阅读 · 5 评论 -
Flink的技术演变之路
美图欣赏:一.流处理语义At most once(最多一次):每条数据记录最多被处理一次,潜台词也表明数据会有丢失(没被处理掉)的可能。 At least once(最少一次):每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢,至少被处理过,唯一不足之处在于数据可能会被重复处理。 Exactly once(恰好一次):每条数据记录正好被处理一次。没有...原创 2020-01-29 16:38:16 · 387 阅读 · 0 评论 -
用Flink测试WordCount案例
一 ./bin/flink run -m bigdata115:8081 ./examples/batch/WordCount.jar --input /usr/local/cc.txt[root@bigdata115 flink-1.6.2]# ./bin/flink run -m bigdata115:8081 ./examples/batch/WordCount.jar --in...原创 2020-01-17 18:58:04 · 1797 阅读 · 0 评论 -
搭建Flink的伪分布式
一.Flink可以选择的部署方式有:Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。二.搭建伪分布式Flink:a.这里选择flink的版本是:flink-1.6.2-bin-hadoop24-scala_2.11.tgzb.进行解压:c.解压完成后:d.进入flink的...原创 2020-01-17 17:17:11 · 1794 阅读 · 0 评论