maxcompute
文章平均质量分 74
maxcompute的应用系列。实战+心得新会
磨磨唧唧的磨叽
在it技术中挣扎,谁能救救我啊。
展开
-
maxcompute时间日期函数整理
maxcompute的时间日期函数DATEADD按照指定的单位和幅度修改日期值datetime dateadd(date|datetime|timestamp <date>, bigint <delta>, string <datepart>)参数说明date必填。待转换的时间日期,可以是date、datetime、timestamp中任意一种delta必填。修改幅度,BIGINT类型。如果delta大于0,则增,否则减。原创 2021-10-21 19:23:17 · 8247 阅读 · 0 评论 -
Maxcompute系列--持续更新
目录一、项目命令二、SQL开发三、python开发四、项目实战&巧学巧用4-1 用pyodps+odps sql实现钉钉机器人预警推送五、爬坑系列一、项目命令待更新。。。二、SQL开发待更新。。。三、python开发待更新。。。四、项目实战&巧学巧用4-1 用pyodps+odps sql实现钉钉机器人预警推送 在使用maxcompute中,我们发现整个数仓体系与外部没有交互,而恰好钉钉机器人支持我们讲数仓的信息通过机...原创 2021-09-28 10:41:58 · 117 阅读 · 0 评论 -
阿里云maxcompute系列--用pyodps+odps sql实现钉钉机器人预警推送
场景我们在使用maxcompute进行数据处理,我们会需要对上下游的数据质量作一些规则校验,用以来识别是否有脏数据影响了我们的数据质量。而校验后,若是发现了脏数据,就需要第一时间通知到数据负责人,以便于数据质量负责人/数据运维角色的人员可以及时得知问题,让他们有充分的数据对数据进行处理,尽快修正数据问题;而且告知信息需要的是准确,有含义,才能让人更快定位原因。而监控数据并通知到数据质量负责人/数据运维的方式有很多,常见的有使用外置数据质量工具,但是工具类天生就很重,开发难度,后去运维对于小团队而言是1原创 2021-04-06 22:21:35 · 877 阅读 · 1 评论