- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 (三)flink的Table API 与 SQL-外部连接器
文章目录flink可以通过table connector直接连接外部系统,将批量或者流式数据从外部系统中获取Flink系统中,或者Flink系统中将数据发送到外部系统中,主要目的是将内建的TableSource和TableSink封装,形成可配置化的组件,在TableAPI和SQL Client能够同时使用...
2019-12-29 23:32:35
1435
原创 集群升级oozie以及sentry无法启动
sentry问题:进入cdh的sentry页面,选择下拉箭头,选择创建数据库,创建完成重启即可oozie问题:在oozie界面,点击安装oozie共享库即可,创建完成重启既可
2019-12-26 00:41:49
342
原创 (二)flink的Table API 与 SQL-DataStream或DataSet与Table相互转换
文章目录DataStream或DataSet 转换为TableDataStream注册成Table通过registerDataStream转换成table使用fromDataStream转换成tableDataSet转换成TableTable转换成DataStream或DataSetTable转换为DataStreamTable转换为DataSettable api是DataStream或Dat...
2019-12-26 00:23:39
2482
原创 (一)flink的Table API 与 SQL-StreamTableEnvironment基本操作
文章目录开发环境构建StreamTableEnvironment上下文环境内部calalog的注册(1) 内部Table的注册(2) TableSource注册(3) TableSink的注册外部CataLog开发环境构建pom.xml <properties> <project.build.sourceEncoding>UTF-8</pro...
2019-12-25 00:56:02
6659
原创 flink的toAppendStream与toRetractStream(待完善)
toAppendStream:只对增加的新数据有效,较为局限实现为extends RichSinkFunction<Row> toRetractStream:更新的数据为true,未更新为false implements SinkFunction<Tuple2<Boolean, Row>>...
2019-12-23 00:28:02
4058
原创 安装flink完成无法提交任务
增加环境变量export YARN_CONF_DIR=/etc/hadoop/confexport HADOOP_CLASSPATH=`hadoop classpath`export HADOOP_CONF_DIR=/etc/hadoop/conf
2019-12-21 23:14:59
1279
原创 shell脚本按行读取文本文件调用脚本
对于一些特定场合,需要将一些脚本参数写在配置文件中#!/bin/bashdata=$1for i in `cat $data`do echo "执行脚本 : 脚本参数 $i" echo "sh shell $1"done[root@note01 shell]# sh batch_exec.sh data执行脚本 : 脚本参数 1sh shell...
2019-12-21 21:38:16
718
原创 (20) flink有状态的算子和应用程序
文章目录算子状态（operator state）键控状态（Keyed State）Flink内置的很多算子，数据源source，数据存储sink都是有状态的，流中的数据都是buffer records，会保存一定的元素或者元数据。例如: ProcessWindowFunction会缓存输入流的数据，ProcessFunction会保存设置的定时器信息等等。在Flink中，状态始终与特定算子相关...
2019-12-19 00:11:39
1222
原创 (19) flink状态编程了解
文章目录概念一致性检查点（checkpoint）: 保证exactly-once概念流式计算分为无状态以及有状态两种情况,无状态计算是观察每个独立事件,并根据最后一个事件输出结果,例如流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告有状态的计算则会基于多个事件输出结果例如所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算所有用于复杂事件处理的状态机...
2019-12-18 00:22:18
625
原创 (18) flink的ProcessFunction API（底层API）
文章目录产生背景KeyedProcessFunctionTimerService 和 定时器（Timers）产生背景转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermar...
2019-12-17 23:51:15
478
原创 (17) flink时间语义
文章目录时间（Time）语义时间（Time）语义Event Time：事件创建的时间Ingestion Time：数据进入Flink的时间Processing Time：执行操作算子的本地系统时间，与机器相关一般设置时间戳为Event Time,默认是Processing Time在代码中设置 Event Time具体的时间，还需要从数据中提取时间戳（timestamp）,分配时...
2019-12-10 00:14:38
1950
原创 (16) flink实现udf函数,细粒度的控制流
文章目录函数类富函数函数类flink暴露所有udf函数的接口(实现方式为接口或者抽象类),例如MapFunction,FilterFunction,ProcessFunction等等class FilterFilter extends FilterFunction[String] { override def filter(value : String) :Boolean = { ...
2019-12-09 00:33:20
1357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人