- 博客(9)
- 资源 (2)
- 收藏
- 关注
转载 Flink(八)Flink的Parallelism并行度
一、Flink的Parallel Execution实例1.Operator Levelfinal StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();DataStream<String> text = [...]DataStream&...
2019-04-18 13:20:54 12544 2
翻译 Flink(七)Flink的Window和Time
一、Flink 自带的 windowFlink DataStream API 提供了 Time 和 Count 的 window,同时增加了基于 Session 的 window。同时,由于某些特殊的需要,DataStream API 也提供了定制化的 window 操作,供用户自定义 window。下面,主要介绍 Time-Based window 以及 Count-Based wind...
2019-04-18 13:20:46 805
转载 Flink(六)Flink自定义Data Sink
前言这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo,首先你需要安装好了 Flink 和 Kafka 。运行启动 Flink、Zookepeer、Kafka好了,都启动了!数据库建表DROP TABLE IF EXIST...
2019-04-18 13:20:39 2077
转载 Flink(五)Flink的Data Sinks
前言如下图,Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系列的操作,操作完后就把计算后的数据结果 Sink 到某个地方。(可以是 MySQL、ElasticSearch、Kafka、Cassandra 等)。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了(发送告警消息到钉钉群、邮件、短信等),这个 s...
2019-04-18 13:20:30 571
转载 Flink(四)Flink的Transformation
一、前言Flink 程序的结构Flink 应用程序结构就是如上图所示:1、Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、Ra...
2019-04-18 09:51:44 658
转载 Flink(三)Flink自定义Data Source
一、Flink Kafka source:Flink默认实现的自定义Data Source准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo,首先你需要安装好了 Flink 和 Kafka 。运行启动 Flink、Zookepeer、Kafka好了,都启动了!maven 依赖<!--flink java-->...
2019-04-18 09:51:31 891
转载 Flink(二)Flink的Data Sources
一、前言Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个 Data Sources 就是数据的来源地。Flink 中你可以使用StreamExecu...
2019-04-18 09:51:22 367
转载 Flink(一)Flink的简介
一.Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有Hadoop、Storm,以及后来的Spark,他们都有着各自专注的应用场景。Spark掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink,也就在这个时候默默的发展着。在国外一些社区,有很多人将大...
2019-04-18 09:51:11 831
翻译 JPA简介及其使用详解
一、Spring data JPA简介Spring data JPA是Spring在ORM框架,以及JPA规范的基础上,封装的一套JPA应用框架,并提供了一整套的数据访问层解决方案。二、Spring data JPA的功能Spring data JPA的功能非常的强大,这里我们先跳过环境搭建这一步,来一睹Spring data JPA的“芳容”。Spring data JPA提供给...
2019-04-15 16:08:00 8402
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人