flink
蜗牛写java
热爱多一些,专注多一些,专心多一些
展开
-
11-flink如何正确分流
11-flink如何正确分流分流方式filter分流split分流 (只能一次分流,分流后的流不能继续分流)side output分流 (推荐使用)场景输入数据:{"key":"001","type":"1","data":"data1"}{"key":"001","type":"11","data":"data11"}{"key":"001","type":"12","...原创 2019-11-24 23:02:20 · 3790 阅读 · 0 评论 -
10-flink-java实现nc(netcat)程序
10-flink-java实现nc(netcat)程序背景flink开发时候,经常用socket作为source;使用linux/mac环境开发,可以在终端中开启 nc -l 9000(开启netcat程序,作为服务端,发送数据);但是如果使用window环境,就比较麻烦,因为window环境没有nc程序;因此,我们可以用 java编写一个nc程序,以便发送数据,供flink程序使用。什么是...原创 2019-11-23 21:47:26 · 2277 阅读 · 3 评论 -
09-flink-Accumulator(累加器)
09-flink-Accumulator(累加器)概念Accumulator(累加器):累加器主要作用在用户操作(operate)中收集分布式统计信息或聚合信息。每个并行实例创建并更新其自己的累加器对象,不同并行实例的累加器由系统作业结束后合并。结果可以从作业执行的结果中获得,也可以从web运行时监视器中获得。分类IntCounterLongCounterDoubleCounter...原创 2019-11-04 19:30:23 · 636 阅读 · 0 评论 -
08-flink之wordCount
08-flink之wordCount流程Batch默认 textpublic class WordCountData { public static final String[] WORDS = new String[] { "To be, or not to be,--that is the question:--", "Whether 'tis nobler in the...原创 2019-10-07 21:58:15 · 144 阅读 · 0 评论 -
07-flink环境搭建
07-flink环境搭建Standalone Cluster环境下载部署包上传到Linux服务器上通过FTP工具上传;也可以将win安装Linux子系统;或者直接win上运行(没有测试过)解压安装包tar -zxvf flink-1.6.2-bin-hadoop27-scala_2.11.tgz创建软链接ln -s flink-1.6.2 flink配置环境变量vi /etc...原创 2019-10-07 20:29:05 · 157 阅读 · 0 评论 -
05-flink源码下载
05-flink源码下载开发环境工具:idea + maven + git开发语言:java/scala源码下载登录github:https://github.com/apache/flinkgit clone https://github.com/apache/flink.git切换目标分支/taggit checkout release-1.6.2补充:查看分支...原创 2019-09-08 17:27:32 · 1209 阅读 · 0 评论 -
04-flink VS spark VS strom
04-flink VS spark VS strom流派对比Record ACKMicro-batchingTransactional updatesDistribted snapshots代表Apache StromApache SparkGoole Cloud DataflowApache Flink语义保证At least onceExactl...原创 2019-09-02 23:27:18 · 234 阅读 · 0 评论 -
06-创建flink项目
04-创建flink项目开发环境工具:idea + maven + git开发语言:java/scala创建项目步骤官网创建文档官网进入文档如图方式一:在Create Project 中选择 Use Maven archetypes tab页打开创建的项目文件夹中,右键 Git Bash Here(前提是装了git);粘贴官网内容(版本号可以更新需求改动)mvn arche...原创 2019-09-01 00:09:50 · 368 阅读 · 0 评论 -
03-flink编程模型
03-flink编程模型Flink编程接口根据数据类型分为两大类:支持批计算的接口DataSet API支持流计算的接口DataStream API同时flink将数据处理接口抽象成四层,由上往下分别为SQL API主要是学习成本低,能够快速上手Table API将内存中的DataStream和DateSet数据集在原有的基础上增加Schema信息,将数据类型统一抽象...原创 2019-08-31 17:36:04 · 192 阅读 · 0 评论 -
02-flink基本架构
02-flink基本架构flink基本组件栈API&Libraries 同时提供了流计算和批计算的接口,同时在此基础上抽象出不同的应用类型的组件库Runtime核心层 主要负责对上层不同接口提供基础服务,也是Flink分布式计算框架的核心实现层,支持分布式Stream的执行、jobGraph到ExecutionGraph的映射转换、任务调度等。将DataStream和Dat...原创 2019-08-25 21:39:13 · 179 阅读 · 0 评论 -
01-Flink是什么
01-Flink是什么背景 2010年到2014年,由柏林工业大学、柏林洪堡大学和哈所普特拉纳研究所联合发起名为“Stratosphere”的研究项目;早期主要关注批处理;2014年4月,Stratosphere代码被贡献给Apache软件基金会,称为Apache基金还孵化器项目。在项目孵化期间,更名为Flink。Flink在德语中是快速和灵敏的意思,用棕红色松鼠作为Flink项目Logo,...原创 2019-08-24 21:53:49 · 180 阅读 · 0 评论