- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 flink countWindow计算每个学生的总成绩
需求假设学校的财务系统要出一个新功能，类似于年度账单。统计每个学生过去一年往一卡通中的总充值金额。其实这种需求完全不用开窗，可以直接使用批处理，groupBy()后reduce()即可。当然，也可以使用流处理通过开窗实现聚合。下面分别介绍。批处理public static void main(String[] args) throws Exception { ExecutionEnvironment env = ExecutionEnvironment.getExecu
2020-06-30 17:00:30
1771
原创 flink窗口相关概念
窗口窗口是无界流处理程序的核心。窗口能够将一个无界流切分成一个个有限大小的桶，以便进行计算。窗口根据流的类型（keyed stream和non-keyed stream）分为两种，分别是keyed window和non-keyed window。它们的结构如下所示（方括号表示是可选的），可以看到，区别就是是否使用了keyBy。窗口的声明周期简而言之，当属于此窗口的第一个元素到达窗口时此窗口才创建（created）。当时间（event or processing time）经过截止时间+.
2020-06-29 16:40:13
690
原创 mysql事务、脏读、幻读
什么是事务？百度百科事务（Transaction），一般是指要做的或所做的事情。在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。事务通常由高级数据库操纵语言或编程语言（如SQL，C++或Java）书写的用户程序的执行所引起，并用形如begin transaction和end transaction语句（或函数调用）来界定。事务由事务开始(begin transaction)和事务结束(end transaction)之间执行的全体操作组成。在关系数据库中，一个事
2020-06-24 19:03:40
459
原创 flink reduce算子
reduce算子是flink流处理中的一个聚合算子，可以对属于同一个分组的数据进行一些聚合操作。但有一点需要注意，就是在需要对聚合结果进行除聚合操作之外的操作时，有可能会失效。比如下面一段代码：public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnviro
2020-06-11 13:55:41
2204
原创 flink table无法取非group by的字段
有的时候我们希望获取非group by的字段，这时候发现flink的table api不支持，会报错。比如groupbya,b的时候selectc,d，则会报错expressioncisnotbeinggrouped。其实这是一个SQL规范（SQL92标准），像在mysql5.7及以上版本中，默认的sql_mode=only_full_group_by。这个配置就要求select后的字段要么是group by后的字段，要么是聚合函数。否则会报错。mysql中可以通过修改配置来解决这...
2020-06-10 15:27:36
3414
1
原创 flink不同环境动态传参
在实际生产中一般都有多个环境，比如开发环境，测试环境，生产环境等等。不同的环境机器不同，一些组件的配置也不同，因此一个flink作业在不同的环境运行时需要指定对应的参数。本文以动态配置不同环境的apollo.meta为例，介绍在web ui以及flink shell两种方式提交作业时如何动态指定参数。jobpublic static void main(String[] args) throws Exception { StreamExecutionEnvironmen
2020-06-09 12:36:40
1733
原创 centos安装airflow
首先需要安装python，pip，建议安装python3。我这里因为之前使用datax，安装的时python2，图省事就没有升级到python3.之后直接pip installapache-airflow进行安装，结果报一堆下面的错Requirement already satisfied: scandir; python_version < "3.5" in /home/kduser/.local/lib/python2.7/site-packages (from pathlib2; p.
2020-06-06 18:09:21
668
原创 exceeded the 80 characters length limit and was truncated.
flink任务在idea调试时没有问题，但提交到standalone集群上运行时，发现没有数据。看日志发现下面这段信息：2020-06-04 21:05:05,897 WARN org.apache.flink.metrics.MetricGroup - The operator name DataSource (at createInput(ExecutionEnvironment.java:576) (com.asn.re.warehouse.d
2020-06-04 21:35:57
5466
1
canal 1.1.4 安装包合集，包括deployer admin adapter
2020-04-09
11-深度探索区块链：Hyperledger技术与应用_区块链技术丛书_-_张增骏.epub
2019-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人