- 博客(8)
- 收藏
- 关注
RSS订阅原创 ProcessFunction API(底层 API)
ProcessFunction API(底层 API) 转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。例如 Mapfunction这样的map转换算子 就无法访问时间戳或者当前事件的事件时间。 基于此, Datastream API提供了一系列的Low- Level转换算子。可以访问时间戳、 watermark以及注册定时事件。还可以输出特定 的一些事件,例如超时事件等。 Process Function用来构建事件驱动的应用以及实现自定义的....
2022-08-31 17:51:23
141
转载 linux下面/usr/local和opt目录有何区别
/usr/local下一般是你安装软件的目录，这个目录就相当于在windows下的programefiles这个目录/opt这个目录是一些大型软件的安装目录，或者是一些服务程序的安装目录/optHere’s where optional stuff is put. Trying out the latest Firefox beta? Install it to /opt where you can delete it without affecting other settings. P.
2021-09-26 09:36:53
373
原创 ProcessFunction API(底层 API)
转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。例如 Mapfunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 基于此, Datastream API提供了一系列的Low- Level转换算子。可以访问时间戳、 watermark以及注册定时事件。还可以输出特定的一些事件,例如超时事件等。 Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如, Flink SQL就..
2020-06-01 14:57:31
231
原创 连接Mysql时出现建立SSL连接 警告
Java连接数据库时可以照常运行，但是会出现以下警告：Fri May 22 18:07:03 CST 2020 WARN: Establishing SSL connection without server’s identity verification is not recommended.According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default
2020-05-25 15:10:42
1424
2
原创 mysql时间与字符串之间相互转换
1.时间转字符串DATE_FORMAT(日期，格式字符串)SELECT DATE_FORMAT(NOW(), '%Y-%m-%d %H:%i:%s');2.字符串转时间STR_TO_DATE(字符串，日志格式)SELECT STR_TO_DATE('2019-01-20 16:01:45', '%Y-%m-%d %H:%i:%s');3.时间转时间戳selectunix_timestamp(now());4.字符串转时间戳selectunix_timestamp('2..
2020-05-25 14:18:03
169
转载 经典Hive-SQL面试题
以下文章来源于大数据技术与数仓，作者西贝大数据技术与数仓专注分享数据仓库与大数据技术(Flink/Hadoop/Spark/Hive)相关内容。关注我可以免费领取大数据书籍与视频。我的博客:https://jiamaoxiang.top/第一题需求我们有如下的用户访问数据userIdvisitDatevisitCountu012017/1/215u022017/1/236u032017/1/228...
2020-05-22 18:35:58
1888
转载 菜鸟实时数仓技术架构演进
菜鸟实时数仓技术架构演进以下文章来源于DataFunTalk，作者贾元乔（缘桥）分享嘉宾：贾元乔 菜鸟高级数据技术专家编辑整理：夏飞飞内容来源：Flink Forward ASIA出品平台：DataFunTalk导读：在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣。菜鸟作为物流供应链的主力军，时效要求已经成为了核心竞争力，离线数仓已不能满足发展的需要，在日益增长的订单和时效挑战下，菜鸟技术架构也在不断发展和完善，如何更准更高效的...
2020-05-22 11:25:41
427
原创 Flink 流处理 API
Flink 流处理 API5.1 Environment5.1.1 getExecutionEnvironment5.1.2 createLocalEnvironment5.1.3 createRemoteEnvironment5.2 Source5.2.1 从集合读取数据5.2.2 从文件读取数据5.2.3 以 kafka 消息队列的数据作为来源5.2.4 自定义 Source5.3 Transform5.3.1 map5.3.2 flatMap5.3.3 Filter5.3.4 KeyBy5.3.5 滚
2020-05-21 18:39:04
880
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人