maxcompute
文章平均质量分 57
落鱼...
乘风破浪会有时,你只欠一个坚持
展开
-
maxcompute 表数据恢复
maxcompute 表恢复原创 2022-09-21 20:21:06 · 819 阅读 · 0 评论 -
dataworks 下载表数据
背景:dataworks 下载只能下载10000条数据,如果表大小超出大小,需要limit 几次,或者导出到数据库,再从数据库中进行下载。 pyodps 可以通过python代码的方式操作表,这样就可以将表数据下载到文件,之后将文件通过邮件的方式发送给自己(这里还可以用来所pyodps数据推送,集成在dataworks上)邮件推送csv格式文件from odps import ODPSimport csvfrom email.mime.multipart import MIMEMultipar原创 2022-04-19 14:18:12 · 2207 阅读 · 6 评论 -
dataworks 生成表血缘依赖
背景: 工作中用到了阿里云的dataworks,业务需求还没有到购买更高级的版本必要,没法查看表的血缘依赖。需要自己去实现血缘依赖。思路: maxcompute 提供Information_Schema元数据查询,可以其中TASKS_HISTORY 表,可以查询到任务执行的日志, sql任务对应的执行sql 放在了operation_text,存在执行的sql,可以通过...原创 2022-04-12 13:44:35 · 1789 阅读 · 0 评论 -
dataworks 小时任务同步设置
背景: 在用dataworks的时候,有一个场景,存在任务a,b a依赖于b, b需要执行2次, 但是a不必等b二次都执行完再执行,需要执行顺序为 b->a->b。 b可以设置为小时任务,a设置为日任务b 任务配置如下: 00:10和08:10分别执行一次,调度依赖上周期,这样a任务就不用等b都执行完再执行。生成的血缘依赖如下:...原创 2021-12-15 10:16:24 · 841 阅读 · 0 评论 -
maxcompute导出到polardb 特殊符号不支持
背景从maxcompute 将数据导出到polardb, 由于string 内容中包含特殊字符,emoji符号,导致同步数据时候,自动剔除含有特殊字符的数据。问题排查方案:1数据库和客户端编码格式不一致,需先修改编码格式。 浏览器编码和数据库或客户端编码格式不一致,需先统一编码格式,然后进行数据预览。 修改数据库相关的编码格式为utf8mb4。例如,在RDS控制台修改RDS的数据库编码格式。 说明 设置RDS数据源编码格式命令:set names utf8mb4。查看RDS数据库编.原创 2021-09-27 16:57:20 · 264 阅读 · 0 评论