![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bankend
李国华技术博客
李国华技术博客
展开
-
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用018-Flink中参数传递和容错设定002
2.通过构造方法向Function传递参数(复合数据)执行程序package code.book.batch.sinksource.scalaimport org.apache.flink.api.common.functions.MapFunctionimport org.apache.flink.api.scala.{DataSet, ExecutionEnvironment, _}obj原创 2017-11-20 10:41:30 · 7141 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004
二、flink中的容错设置flink支持容错设置,当操作失败了,可以在指定重试的启动时间和重试的次数.有两种设置方式1.通过配置文件,进行全局的默认设定2.通过程序的api进行设定。1.通过配置flink-conf.yaml来设定全局容错设定出错重试3次原创 2017-11-20 10:47:08 · 6902 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003
通过ExecutionConfig向Function传递参数执行程序原创 2017-11-20 10:44:31 · 551 阅读 · 0 评论 -
云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战003-Flink基于流的window操作001
一、流处理的基本概念1.stream和window1.源源不断的数据流是无法进行统计工作的,因为数据流没有边界,就无法统计到底有多少数据经过了这个流。 也无法统计数据流中的最大值,最小值,平均值,累加值等信息。2.如果在数据流上,截取固定大小的一部分,这部分是可以进行统计的。 截取方式主要有两种, 1.根据时间进行截取(time-driven-window),比如每1分钟统计一次或每10分原创 2017-11-20 14:33:42 · 13618 阅读 · 0 评论 -
云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战002-Flink基于流的wordcount示例002
三、基于socket的wordcount原创 2017-11-20 14:23:21 · 13781 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战001-Flink基于流的wordcount示例001
Flink基于流的wordcount示例001原创 2017-11-20 14:19:36 · 13809 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用023-Flink中OutFormat设置(Scala版)003
三、MultipleTextOutputFormat设置三使用DataSet的key做为文件名称,文件内容以键值对的形式存在,将DataSet输出到多个文件中。原创 2017-11-20 11:08:28 · 13249 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用022-Flink中OutFormat设置(Scala版)002
二、MultipleTextOutputFormat设置二使用DataSet的key和时间戳作为文件名称,将DataSet输出到多个文件中。原创 2017-11-20 11:04:10 · 13196 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用021-Flink中OutFormat设置(Scala版)001
一、MultipleTextOutputFormat设置一使用DataSet的key作为文件名称,将DataSet输出到多个文件中。原创 2017-11-20 11:01:21 · 13567 阅读 · 1 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0017--IDEA搭建非maven管理的集成开发环境002
二、开发并运行flink程序1.创建package2.输入package名称3.创建object注意:为了简单起见,要选择object,不要选择class.不然在代码里面还要改动。4.输入object名称5.创建后的默认代码6.编写程序package code.helloword//0.引入必要的程序元素import org.apache.flink.api.scala._object Hello原创 2017-11-15 09:59:01 · 7191 阅读 · 0 评论 -
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0016--IDEA搭建非maven管理的集成开发环境001
一、准备flink的开发环境1. 创建project2. 选择Scala project3. 输入project基本信息1.填写项目的名称信息2.填写项目的位置信息4. project创建成功后的效果5. 配置project’s SDK选择Java的本地安装目录,也就是$JAVA_HOME6. 配置modules的目录属性1.配置java的source目录,以便进行flink的Java开发2.配原创 2017-11-15 09:42:36 · 7292 阅读 · 0 评论 -
云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战004-Flink基于流的window操作002
三、交通场景下time-window实战1.tumbling-time-window (无重叠数据)实战1.0实战目的每5秒钟统计一次,在这过去的5秒钟内,各个路口通过红绿灯汽车的数量。原创 2017-11-20 14:38:51 · 13714 阅读 · 0 评论