Flink
muyingmiao
这个作者很懒,什么都没留下…
展开
-
Flink操作HBase
1.通过Flink将数据sink到HBaseimport org.apache.commons.lang.StringUtilsimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.scala.ExecutionEnvironmentimport scala.co...原创 2020-02-12 22:43:43 · 2241 阅读 · 0 评论 -
Flink采坑记录
1.运行./yarn-session.sh命令报错[hadoop@hadoop002 bin]$ ./yarn-session.sh --helpError: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassD...原创 2020-02-02 11:39:51 · 3208 阅读 · 1 评论 -
在centos7.2上Flink1.9.1源码编译(hadoop2.6.0-cdh5.15.1)
编译步骤参照官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html0.按照官网:In addition you needMaven 3and aJDK(Java Development Kit). Flink requiresat least Java 8to buil...原创 2020-02-02 09:15:59 · 653 阅读 · 0 评论 -
用scala和Java语言实现Flink的一个简单的计数器
1.定义计数器2.通过getRuntimeContext注册计数器3.触发flink程序,获取计数器并获取结果scala版本def main(args: Array[String]): Unit = { import org.apache.flink.api.scala._ val env = ExecutionEnvironment.getExecutionEnv...原创 2019-10-04 09:26:32 · 506 阅读 · 0 评论 -
用java和scala实现一个简单Flink的分布式缓存(Distributed Cache)
java代码package com.wxx.flink.java.distribute;import org.apache.commons.io.FileUtils;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.java.ExecutionEnviron...原创 2019-10-04 09:16:54 · 334 阅读 · 0 评论 -
value foreach is not a member of java.util.List[String]
在java和scala混编的代码中,有时会遇到java集合和scala结合不兼容的问题,需要导入相应的依赖import scala.collection.JavaConverters._然后通过scala的asScala方法,将java结合转换为scala结合具体代码如下def main(args: Array[String]): Unit = { val env = Ex...原创 2019-10-04 09:04:12 · 1650 阅读 · 0 评论 -
创建第一个Flink项目
创建一个Flink项目https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/projectsetup/java_api_quickstart.html#create-projectmvn archetype:generate \-DarchetypeGr...原创 2019-09-28 00:04:45 · 1954 阅读 · 0 评论 -
Flink开发环境部署和配置
Flink是一个以Java及Scala作为开发语言的开源大数据项目,代码开源在github上,并使用maven来编译和构建项目。对于大部分开发或使用Flink的同学来说,Java、Maven和Git这三个工具是必不可少的,因此我们会首先介绍一下这三个工具的安装和配置。另外,一个强大的IDE有助于我们更快的阅读代码、开发新功能以及修复bug,因此这里也会简单介绍IDE的相关配置。根据我们之前的调...原创 2019-07-31 23:00:03 · 3315 阅读 · 0 评论