![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
CourageLee
这个作者很懒,什么都没留下…
展开
-
4. Flink流处理API
1 Environment1.1 getExecutionEnvironment 创建一个执行环境,表示当前执行程序的上下文。如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。ExecutionEnvironment env = ExecutionEnvironment.getExecutionE原创 2021-05-18 17:40:59 · 124 阅读 · 0 评论 -
Error:Flink中使用Maven报错“ SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder ”解决办法
报错:SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.解决方法:pom.xml 中加入依赖项: <depend原创 2021-05-17 15:39:00 · 851 阅读 · 0 评论 -
3 Flink运行时的组件学习
1 Flink运行时的组件1 JobManager :作业管理器2 TaskManager :任务管理器3 ResourceManager :资源管理器4 Dispacher :分发器1.1 JobManager :作业管理器控制一个应用程序执行的主进程,也就是说,每个应用程序都会被一个不同的JobManager 所控制执行。JobManager 会先接收到要执行的应用程序,这个应用程序会包括:作业图(JobGraph)逻辑数据流图(logical dataflow gra原创 2021-05-16 14:02:44 · 268 阅读 · 2 评论 -
2 Linux部署Flink——提交job
1 Web UI提交jobSubmit New Job -> +Add New选择导入的jar点击导入的jarEntryClass :程序的入口,指定入口类(类的全限制名)eg:jar中的包名.类名(com.flink.StreamWordCount)Parallelism : 设置Job并行度。Ps:并行度优先级(从上到下优先级递减)代码中算子setParallelism() ExecutionEnvironment env.setMaxParallelism()设置原创 2021-05-13 19:50:18 · 703 阅读 · 0 评论 -
2 Linux部署Flink——安装Flink
1 linux安装Flink# 解压tar -zxf flink-1.10.1-bin-scala_2.12.tgz# 重命名mv flink-1.10.1/ flink下载 对应版本的 flink-shaded-hadoop放入flink/lib 中可参考以下命令:# 下载 对应版本的 flink-shaded-hadoopwget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-原创 2021-05-13 17:20:52 · 616 阅读 · 0 评论 -
安装Linux——利用虚拟机搭建Centos7
1 下载 虚拟机软件Vmware2 下载CentOS7 ios包https://vault.centos.org/7.4.1708/isos/x86_64/3 虚拟机中新建虚拟机,找到下载的安装包。导入即可。原创 2021-05-13 14:35:39 · 74 阅读 · 0 评论 -
安装Linux 系统——windows自带子系统
1 使用windows 自带子linux子系统。1 在控制面版->程序->启动或关闭Windows功能,点击适用于Linux的Windows 子系统 勾上 。然后保存。2 在Microsoft Store 中 安装Ubuntu3 启动Ubuntu 就可进行linux 下的开发。4 对于文件传输。将 window下下载的文件上传到 linux 子系统中。打开文件资源管理器,然后在目录窗口输入 \\wsl$回车就可以看到所有的子系统了。将文件拖入该目录(可自建一个文件夹,专门 放原创 2021-05-13 14:25:20 · 558 阅读 · 0 评论 -
1.Flink快速上手之WordCount
设置依赖pom.xml注:flink-streaming-scala_2.12 => org.apache.flink:flink-runtime_2.12:1.12.1 =>com.typesafe.akka:akka-actor_2.12:2.5.21,akka就是用scala实现的。即使这里我们用java语言,还是用到了scala实现的包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://原创 2021-05-11 21:50:44 · 119 阅读 · 0 评论 -
ERROR:windows10安装nc测试flink 使用报错nc: forward host lookup failed: h_errno 11001: HOST_NOT_FOUN
解决方法:1.下载地址:https://eternallybored.org/misc/netcat/2.解压后将nc.exe复制到C:\Users\用户名 该文件夹下3 就可以在客户端输入开启socket了nc -l -p 7777原创 2021-05-11 21:33:35 · 2121 阅读 · 1 评论 -
ERROR:Flink实现WordCount中,使用org.apache.flink.api.scala.ExecutionEnvironment 导致报错
刚学习Flink 不知道有org.apache.flink.api.java.ExecutionEnvironment;org.apache.flink.api.scala.ExecutionEnvironment;错误使用org.apache.flink.api.scala.ExecutionEnvironment;创建执行环境导致readTextFile(filePath ,charsetName)需要两个参数,运行报错解决方法:将flink中scala api 换成java api.原创 2021-05-11 17:11:19 · 391 阅读 · 0 评论