- 博客(18)
- 收藏
- 关注
RSS订阅
翻译 4.1如何自定义Data Source
前言在 《从0到1学习Flink》—— Data Source 介绍 文章中，我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source，这篇文章更详细的介绍下，并写一个 demo 出来让大家理解。Flink Kafka source准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要安装好了 FLink ...
2019-04-20 16:36:40
206
翻译 14.你上传的 jar 包藏到哪里去了?
前言写这篇文章其实也是知识星球里面的一个小伙伴问了这样一个问题：通过 flink UI 仪表盘提交的 jar 是存储在哪个目录下？这个问题其实我自己也有问过，但是自己因为自己的问题没有啥压力也就没深入去思考，现在可是知识星球的付费小伙伴问的，所以自然要逼着自己去深入然后才能给出正确的答案。跟着我一起来看看我的探寻步骤吧！小小的 jar 竟然还敢和我捉迷藏？查看配置文件首先想到的是这个...
2019-04-19 14:24:50
185
翻译 13.Flink 读取 Kafka 数据写入到 RabbitMQ
前言之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。前提准备安装 Rabb...
2019-04-19 14:17:07
1063
2
翻译 12.Flink 读取 Kafka 数据批量写入到 MySQL
前言之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？ 文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个预聚合，然后创建数据库连接池将数据批量写入到 mysql 的例子。于是才有了这篇文章，更多提问和想要我写的文章可以在知识星球里像我提问，...
2019-04-19 14:15:40
1930
1
翻译 11.Flink 写入数据到 Kafka
前言之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。存入到 ES 只是其中一种情况，那么如果我们有多个地方需要这份通过 Flink 转换后的数据，是不是...
2019-04-19 14:05:08
1744
翻译 10.Flink 项目如何运行？
前言之前写了不少 Flink 文章了，也有不少 demo，但是文章写的时候都是在本地直接运行 Main 类的 main 方法，其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包，然后运行得。最开始在第一篇 《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 中其实提到过了 Flink 自带的 UI 界面，今天我们就来看看如...
2019-04-19 14:03:16
573
翻译 9.Flink 写入数据到 ElasticSearch
前言前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。1、《从0到1学习Flink》—— Data Source 介绍2、《从0到1学习Flink》—— Data Sink 介绍其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 E...
2019-04-19 13:57:46
1214
1
翻译 8.Flink 中几种 Time 详解
前言Flink 在流程序中支持不同的 Time 概念，就比如有 Processing Time、Event Time 和 Ingestion Time。下面我们一起来看看这几个 Time：Processing TimeProcessing Time 是指事件被处理时机器的系统时间。当流程序在 Processing Time 上运行时，所有基于时间的操作(如时间窗口)将使用当时机器的系统时间...
2019-04-19 13:55:36
333
翻译 7.介绍Flink中的Stream Windows
前言目前有许多数据分析的场景从批处理到流处理的演变， 虽然可以将批处理作为流处理的特殊情况来处理，但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语（例如，“windowing（窗口化）”、“at-least-once（至少一次）”、“exactly-once（只有一次）” ）。对于刚刚接触流处理的人来说，这种转变和新术语可能会非常混乱。 Apache Flink 是一个为生产环...
2019-04-19 13:53:41
247
翻译 6.Flink Data transformation(转换)
前言在第一篇介绍 Flink 的文章 《《从0到1学习Flink》—— Apache Flink 介绍》 中就说过 Flink 程序的结构Flink 应用程序结构就是如上图所示：1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 ...
2019-04-19 13:51:55
194
翻译 5.如何自定义 Data Sink ？
前言前篇文章 《从0到1学习Flink》—— Data Sink 介绍 介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要安装好...
2019-04-19 13:48:46
238
翻译 4.Data Sink 介绍
前言再上一篇文章中 《从0到1学习Flink》—— Data Source 介绍 讲解了 Flink Data Source ，那么这里就来讲讲 Flink Data Sink 吧。首先 Sink 的意思是：大概可以猜到了吧！Data sink 有点把数据存储下来（落库）的意思。如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的...
2019-04-19 13:44:15
7460
翻译 3. Data Source 介绍
前言Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Sources 就是数据的来源地。Flink 中你可以使用 StreamExecutionE...
2019-04-19 13:41:22
625
翻译 2.Flink 配置文件详解
<p><a href="https://ws2.sinaimg.cn/large/006tNbRwly1fwo0tys9m5j31hc0zfncl.jpg" title="" rel="fancy-group" class="fancy-ctn fancybox"><img src="https://ws2.sinaimg.cn/large/006tNbRw...
2019-04-19 13:40:35
732
翻译 1.Apache Flink 介绍
前言Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结果与告警规则的阈值进行比较，然后做出相应的告警措施（钉钉群、邮件、短信、电话等）。画了个简单的图如下：...
2019-04-19 13:40:01
226
1
原创 java的BASE64Encoder,BASE64Decoder加密与解密
package com.app.common;import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import sun.misc.BASE64Decoder;import sun.misc.BASE64E
2019-04-08 19:13:05
2485
原创 Java中常见数据结构：list与map -底层如何实现
1:集合Collection(单列集合)List(有序,可重复)ArrayList底层数据结构是数组,查询快,增删慢线程不安全,效率高Vector底层数据结构是数组,查询快,增删慢线程安全,效率低LinkedList底层数据结构是链表,查询慢,增删快线程不安全,效率高Set(无序,唯一)HashSet底层数据结构是哈希表。哈希表依赖两个方法：hashCode()和eq...
2019-04-08 18:52:49
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人