- 博客(16)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 11-flink如何正确分流
11-flink如何正确分流分流方式filter分流split分流 (只能一次分流，分流后的流不能继续分流)side output分流 (推荐使用)场景输入数据： {"key":"001","type":"1","data":"data1"}{"key":"001","type":"11","data":"data11"}{"key":"001","type":"12","...
2019-11-24 23:02:20
3765
原创 10-flink-java实现nc(netcat)程序
10-flink-java实现nc(netcat)程序背景flink开发时候，经常用socket作为source；使用linux/mac环境开发，可以在终端中开启 nc -l 9000(开启netcat程序，作为服务端，发送数据)；但是如果使用window环境，就比较麻烦，因为window环境没有nc程序；因此，我们可以用 java编写一个nc程序，以便发送数据，供flink程序使用。什么是...
2019-11-23 21:47:26
2196
3
原创 09-flink-Accumulator(累加器)
09-flink-Accumulator(累加器)概念Accumulator(累加器)：累加器主要作用在用户操作(operate)中收集分布式统计信息或聚合信息。每个并行实例创建并更新其自己的累加器对象，不同并行实例的累加器由系统作业结束后合并。结果可以从作业执行的结果中获得，也可以从web运行时监视器中获得。分类IntCounterLongCounterDoubleCounter...
2019-11-04 19:30:23
613
原创 08-flink之wordCount
08-flink之wordCount流程Batch默认 textpublic class WordCountData { public static final String[] WORDS = new String[] { "To be, or not to be,--that is the question:--", "Whether 'tis nobler in the...
2019-10-07 21:58:15
131
原创 07-flink环境搭建
07-flink环境搭建Standalone Cluster环境下载部署包上传到Linux服务器上通过FTP工具上传；也可以将win安装Linux子系统；或者直接win上运行(没有测试过)解压安装包tar -zxvf flink-1.6.2-bin-hadoop27-scala_2.11.tgz创建软链接ln -s flink-1.6.2 flink配置环境变量vi /etc...
2019-10-07 20:29:05
140
原创 05-flink源码下载
05-flink源码下载开发环境工具：idea + maven + git开发语言：java/scala源码下载登录github：https://github.com/apache/flinkgit clone https://github.com/apache/flink.git切换目标分支/taggit checkout release-1.6.2补充：查看分支...
2019-09-08 17:27:32
1185
原创 04-flink VS spark VS strom
04-flink VS spark VS strom流派对比Record ACKMicro-batchingTransactional updatesDistribted snapshots代表Apache StromApache SparkGoole Cloud DataflowApache Flink语义保证At least onceExactl...
2019-09-02 23:27:18
222
原创 06-创建flink项目
04-创建flink项目开发环境工具：idea + maven + git开发语言：java/scala创建项目步骤官网创建文档官网进入文档如图方式一：在Create Project 中选择 Use Maven archetypes tab页打开创建的项目文件夹中，右键 Git Bash Here（前提是装了git）；粘贴官网内容(版本号可以更新需求改动)mvn arche...
2019-09-01 00:09:50
355
原创 03-flink编程模型
03-flink编程模型Flink编程接口根据数据类型分为两大类：支持批计算的接口DataSet API支持流计算的接口DataStream API同时flink将数据处理接口抽象成四层，由上往下分别为SQL API主要是学习成本低，能够快速上手Table API将内存中的DataStream和DateSet数据集在原有的基础上增加Schema信息，将数据类型统一抽象...
2019-08-31 17:36:04
175
原创 02-flink基本架构
02-flink基本架构flink基本组件栈API&Libraries 同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层 主要负责对上层不同接口提供基础服务，也是Flink分布式计算框架的核心实现层，支持分布式Stream的执行、jobGraph到ExecutionGraph的映射转换、任务调度等。将DataStream和Dat...
2019-08-25 21:39:13
156
原创 01-Flink是什么
01-Flink是什么背景 2010年到2014年，由柏林工业大学、柏林洪堡大学和哈所普特拉纳研究所联合发起名为“Stratosphere”的研究项目；早期主要关注批处理；2014年4月，Stratosphere代码被贡献给Apache软件基金会，称为Apache基金还孵化器项目。在项目孵化期间，更名为Flink。Flink在德语中是快速和灵敏的意思，用棕红色松鼠作为Flink项目Logo，...
2019-08-24 21:53:49
166
原创 java序列化（对象流）
java序列化（对象流）序列化目的：将对象保存到硬盘中，或者网络中传输对象机制：将Java对象转换为字节序列，序列可以保存硬盘，或网络传输代码：实现Serializable或者Externalizable接口序列化版本标识符：private static final long serialVersionUID注意：不能序列化static修饰的成员变量；对象中的任何成员变量必须实现Seria
2017-08-31 23:08:21
297
原创 There is no statement named xxx.xxx in this SqlMap
Ibaits中经长会报There is no statement named xxxx in this SqlMap的错误原因主要有以上三个方面1.sqlmap文件中的xxxx没有或者拼错2.sqlmap中定义namespace属性，namespace拼错3.sqlMapConfig.xml中没有配置引用的sqlmap文件
2015-02-10 16:03:19
740
原创 jsp 中 年份下拉列表
最近工作开发中使用到年份下拉列表；一开始实现这个小下拉列表想到了三种方案，现在把最简洁的一种保存下来该下拉列表需要引入jstl标签库（c标签）,,jquery, jsp要导入java.util.*() " end="" step="1" > ${year} 年
2014-12-19 09:09:41
2913
翻译 javascript 对象和数组
做开发两年多了，平时学习和积累的一些技术一直没有同一的记录下来。特意使用csdn博客，一方面给自己一个积累，一方面希望能够帮助入行的朋友们。=======================javascript对象====================//javascript中的最重要的类型就是对象//对象是名-值对应的集合，或者是字符串到值映射的集合var book={
2014-12-18 13:42:53
280
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人