![](https://img-blog.csdnimg.cn/36db7e920bb24833aff47bbe89053f35.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
阿里云
文章平均质量分 73
阿里云实战记录
大数据00
好记性不如烂笔头
展开
-
侧输出流SideOutput
主要功能是通过侧数据流 拆分流数据。原创 2023-08-28 16:57:19 · 111 阅读 · 0 评论 -
Flink+MapState+Ontimer+Enum+Flink去重综合应用
Flink+MapState+Ontimer+Enum+Flink去重综合应用原创 2023-02-24 09:55:42 · 267 阅读 · 0 评论 -
钉钉预警步骤
1、把timestamp+“\n”+密钥当做签名字符串,使用HmacSHA256算法计算签名,然后进行Base64 encode,最后再把签名参数再进行urlEncode,得到最终的签名(需要使用UTF-8字符集)。2、在机器人管理页面选择自定义机器人,输入机器人名字并选择要发送消息的群,同时可以为机器人设置机器人头像。例如添加了一个自定义关键词:监控报警,则这个机器人所发送的消息,必须包含监控报警这个词,才能发送成功。1、选择需要添加机器人的群聊,然后依次单击群设置 > 智能群助手。原创 2023-01-05 16:15:59 · 610 阅读 · 0 评论 -
Spark on Maxconpute 读取资源 SQL DataFrame Json 转换开发
【代码】Spark on Maxconpute 读取资源 SQL DataFrame Json 转换开发。原创 2022-10-20 17:55:15 · 818 阅读 · 0 评论 -
Blink 使用小记
1、各组件版本 Blink 3.6.0 Datahub Hologres 0.10 Rds 8.0/5.7 Maxcompute 3.52、维表关联代码2.1Maxcompute维表2.2Rds维表2.3Hologres维表3、维表关联代码4、数据Sink4.1MaxcomputeSink4.2HologresSink4.3DatahubSink5、自定义函数6、DataStreamAPI2.1 Maxcomp......原创 2022-04-06 13:42:58 · 1648 阅读 · 0 评论 -
Maxcompute 小记2
1、rows between unbounded preceding and current row等,unbounded ,preceding ,following,current row含义详解以下转自:(http://blog.csdn.net/huozhicheng/article/details/5843782/)作者:Horrison目录=========================================1.窗口函数简介2.窗口函数示例-全统计3.窗口函数进阶-滚转载 2022-02-09 14:07:53 · 259 阅读 · 0 评论 -
用户画像之实时标签
Blink 实时标签体系原创 2021-12-31 11:15:27 · 2596 阅读 · 0 评论 -
Blink-DataHub connector Maven依赖转化
1、实时计算Datastream完全兼容开源Flink 1.5.2版本。下载并解压flink-1.5.2-compatible分支到本地。说明下载文件中的datahub-connector中同样实现了DataHub Sink功能,具体实现请参见下载文件中的DatahubSinkFunction.java和DatahubSinkFunctionExample.java。2、在CMD命令窗口,进入alibaba-flink-connectors-flink-1.5.2-compatible目录后,执行.转载 2021-12-10 14:20:47 · 685 阅读 · 0 评论 -
BLINK-DataStream开发
1、pom.xml注意:<dependency> <groupId>com.alibaba.flink</groupId> <artifactId>datahub-connector</artifactId> <version>0.1-SNAPSHOT</version> <classifier>jar-with-...原创 2021-12-10 14:16:00 · 2324 阅读 · 1 评论 -
Maxcompute 小记1
1、关于NULL值排序①HIVE时间类型:SELECT idFROM ( SELECT GETDATE() id UNION SELECT NULL id UNION SELECT TO_DATE('20211101','yyyymmdd') id ) tORDER BY id ASC;结果:+------------+| id原创 2021-12-03 16:43:52 · 1570 阅读 · 0 评论 -
PyOdps小计
1、开启脚本模式from odps import optionsoptions.sql.settings = {"odps.sql.submit.mode" : "script"}o.execute_sql("set odps.sql.default.file.format=aliorc;set odps.storage.force.aliorc=true;create table User_tags(*****)")原创 2021-12-01 17:34:16 · 1857 阅读 · 0 评论 -
Hologres使用小记
1、Hologres 0.8 创建数组类型外部表采坑ODPS:CREATE TABLE `test_clue` ( `id_c` array<bigint>, `name` array<string> ) ;Holo:CREATE FOREIGN TABLE test_clue(id int8[],name text[])SERVER odps_serverOPTIONS(project_name 'itsl_dev', table_name 'test_原创 2021-11-26 16:58:05 · 4888 阅读 · 0 评论