Flink 异常处理-State和Checkpoint实践

目录 目录 背景 正文          State 什么是State(状态)? State类型 State理解 State实战 CheckPointing (1)介绍,实现方式分类 (2) 使用Manage State,Flink自动实现state保存和恢复 (3) 自定...

2018-09-15 10:50:35

阅读数:653

评论数:0

Spark和Hadoop书籍、学习视频网站推荐

1.Spark   (1)Spark快速大数据分析         介绍:由spark开发者编写,无过多实现细节,注重基础理念,适合小白版可以让数据科学家和工程师即刻上手。你能学到如何使用简短的代码实现复杂的并行作业,还能了解从简单的批处理作业到流处理以及机器学习等应用。         封皮: ...

2018-03-24 16:34:35

阅读数:3889

评论数:0

从1到n整数中1出现的次数:O(logn)算法

转载原文:统计1数目 1. 题目描述 输入一个整数n,求从1到n这n个整数的十进制表示中1出现的次数。例如输入12,从1到12这些整数中包含1的数字有1,10,11和12,1一共出现了5次。 2. 题目来源 第一次看到是在《剑指Offer》第2版上,面试题32。leetcode和牛客网上都...

2018-10-26 10:23:20

阅读数:29

评论数:0

Akka: 让并发和容错更容易:Akka示例教程

目录 摘要 Akka框架是什么 Akka中的Actor是什么 Actor系统 Akka的容错和监管者策略 本地透明性 最后的一些提示 结论 转载原文:左洪斌 摘要 Akka用Scala语言写成,为开发高并发、分布式和容错式应用提供了便利,对开发者隐藏了很大程度的复杂性。把Ak...

2018-10-22 14:01:15

阅读数:48

评论数:0

JVM 内存结构

JVM内存结构 转载作者:纯洁的微笑 转载地址:jvm内存结构      堆    : 线程共享:存放对象 方法区:线程共享:存放类结构信息class、常量和静态变量 线程栈:线程私有、存放对象引用和原是类型本地变量 JVM栈:存储方法执行内存模型,每一个方法执行对应一个栈帧,存储方...

2018-10-21 20:33:44

阅读数:29

评论数:0

Java GC 垃圾回收汇总大全

目录 概述 对象存活判断 垃圾收集算法 标记 -清除算法 复制算法 标记-压缩算法 分代收集算法 垃圾收集器 Serial收集器 Parallel收集器 Parallel Old 收集器 CMS收集器 G1收集器 常用的收集器组合 主要借鉴文章:纯洁的微笑 概述 ...

2018-10-21 16:51:17

阅读数:32

评论数:0

Spark 2.4 新特性和PPT

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对 Apache Spark 2.4 的主要功能和增强功能进行了概述。 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简...

2018-09-21 10:20:11

阅读数:1016

评论数:0

Intellij idea 创建Maven Spark工程

目录 背景 正文 创建Maven工程 打包过程 添加SCALA支持     背景              Intellij idea开发Spark工程,本地依赖使用Maven进行管理,打包也是用Maven命令,依赖包需要和编译后的源代码同时包含到结果Jar包中。   正文 ...

2018-09-19 17:23:16

阅读数:127

评论数:0

Flink onTime - processFunction

转载作者:写bug的张小天 转载地址:https://www.jianshu.com/p/e6297fac67cb Process Function(过程函数) ProcessFunction是一个低层次的流处理操作,允许返回所有(无环的)流程序的基础构建模块:   1、事件(event)(...

2018-09-17 20:10:58

阅读数:187

评论数:0

FLink - 流式处理框架选型对比

转载原文:https://blog.csdn.net/lmalds/article/details/52539590 1、需求决定引擎选型 根据马斯洛需求层次理论,可以将流处理引擎的需求分为以下几种层次:  1、持续性的流处理  2、低延迟的计算结果,亚秒级别的延迟  3、高效可扩展性,每秒...

2018-09-13 09:37:38

阅读数:215

评论数:0

IntelliJ IDEA中文乱码问题汇总

1.首先是编辑器的乱码,这个很好解决,file->settings->appearence里面有个Name设置成支持中文的字 体(这个很重要) 同样还要再settings中的Eidtor->File Encodings里面设置...

2018-09-12 18:18:26

阅读数:50

评论数:0

FLink 优秀的session windows使用案例-Spotify音乐推荐分析

转载原文:https://blog.csdn.net/lmalds/article/details/69267056 转载作者:malds李麦迪 很棒的文章,博主博文都很好,值得浏览 正文 1、简介 流处理在实际生产中体现的价值越来越大,Apache Flink这个纯流式计算框架也正在被...

2018-09-08 16:55:03

阅读数:204

评论数:0

Flink WaterMark(水位线)分布式执行理解

背景         WaterMark (水印) 本质上是一个时间戳。当Flink中的运算符接收到水印时,它明白(假设)它不会看到比该时间戳更早的消息。因此,在“EventTime”中,水印也可以被认为是一种告诉Flink它有多远的一种方式,WaterMark还可以用来实现时间延迟。    ...

2018-09-08 15:49:44

阅读数:421

评论数:1

Flink 窗口开始结束时间与设置不符问题

问题: 1. 在WindowsFunction中,获取窗口开始和结束时间与预设不符 2. WindowsFunction函数不触发执行 可能原因: 1.时间格式问题:     错误:1536137348     正确:1536137348000 2.WindowsFunction中无...

2018-09-05 19:25:26

阅读数:219

评论数:0

Flink Session Windows编程实战

原文地址:https://blog.csdn.net/lmalds/article/details/52692911 正文 1、session window简介 Flink从1.1开始支持Session window,它是属于基于时间的窗口。 这里以EventTime为例,基于时间的窗口,...

2018-09-05 09:23:53

阅读数:59

评论数:0

Flink 编程实战 - 构建程序框架

  背景           Flink文档中介绍窗口、水印和触发器等功能偏理论,浏览之后对编程方式懵懵懂懂,故作如下练习,是一个基础Flink编程框架,并不是所有Flink程序都如下程序框架所述。          理解如下代码,需要正确理解Event Time和Watermark,可以浏...

2018-09-03 08:54:04

阅读数:152

评论数:0

Flink Event Time和WaterMark结合优势分析

背景 对Event Time和WaterMark理解存在困惑,转载一篇很棒的文章。 转载原文:http://vishnuviswanath.com/flink_eventtime.html 翻译原文:https://blog.csdn.net/a6822342/article/details...

2018-09-03 08:53:13

阅读数:289

评论数:0

Flink Windows窗口简介和使用

转载原文:https://blog.csdn.net/lmalds/article/details/51604501 Apache Flink–DataStream–Window 什么是Window?有哪些用途?  下面我们结合一个现实的例子来说明。 我们先提出一个问题:统计经过某红绿灯的汽...

2018-09-03 08:52:42

阅读数:570

评论数:0

Spark面试汇总

原作者:徐茂盛 原博客:https://blog.csdn.net/bingoxubin/article/details/79087961 1、简答说一下hadoop的map-reduce编程模型 首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合 使用...

2018-08-01 17:14:55

阅读数:123

评论数:0

Hadoop 面试汇总

原作者:https://blog.csdn.net/bingoxubin 原博客:https://blog.csdn.net/bingoxubin/article/details/79072945 1.Hadoop集群可以运行的3个模式? 单机(本地)模式  伪分布式模式  全分布式模式 2...

2018-08-01 17:11:01

阅读数:84

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭