Maxcompute系列--持续更新

最新推荐文章于 2024-10-13 22:12:45 发布
置顶 最新推荐文章于 2024-10-13 22:12:45 发布
阅读量117 收藏
点赞数
分类专栏： maxcompute 钉钉 pyodps 文章标签： 大数据 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenzl8944/article/details/120524128
版权
maxcompute 同时被 3 个专栏收录
3 篇文章 0 订阅
订阅专栏
pyodps
2 篇文章 0 订阅
订阅专栏
钉钉
1 篇文章 0 订阅
订阅专栏

目录

一、项目命令

二、SQL开发

三、python开发

四、项目实战&巧学巧用

4-1 用pyodps+odps sql实现钉钉机器人预警推送

五、爬坑系列

一、项目命令

待更新。。。

二、SQL开发

2.1 函数大全

时间日期函数​​​​​​​

三、python开发

待更新。。。

四、项目实战&巧学巧用

4-1 用pyodps+odps sql实现钉钉机器人预警推送

        在使用maxcompute中，我们发现整个数仓体系与外部没有交互，而恰好钉钉机器人支持我们讲数仓的信息通过机器人推送消息方式，发送到对应的群，打通数仓和用户建的距离；借此分享给大家。

        文章链接：用pyodps+odps sql实现钉钉机器人预警推送

五、爬坑系列

        待更新。。。

磨磨唧唧的磨叽
关注
专栏目录
关于odps字段监控，使用pyodps实现
x_ue_的博客
10-24 774
关于odps字段监控，使用pyodps实现
MaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORM
阿里云云栖号
09-12 1102
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max...
阿里云maxcompute系列--用pyodps+odps sql实现钉钉机器人预警推送
chenzl8944的专栏
04-06 877
场景 我们在使用maxcompute进行数据处理，我们会需要对上下游的数据质量作一些规则校验，用以来识别是否有脏数据影响了我们的数据质量。 而校验后，若是发现了脏数据，就需要第一时间通知到数据负责人，以便于数据质量负责人/数据运维角色的人员可以及时得知问题，让他们有充分的数据对数据进行处理，尽快修正数据问题；而且告知信息需要的是准确，有含义，才能让人更快定位原因。 而监控数据并通知到数据质量负责人/数据运维的方式有很多，常见的有使用外置数据质量工具，但是工具类天生就很重，开发难度，后去运维对于小团队而言是1
阿里云MaxCompute 2019-4月刊
zhaowei121的博客
05-13 103
摘要：4月新功能发布，精彩技术好文推荐，5月线上线下活动抢先知道，尽在4月刊。 您好，MaxCompute2019.4月刊为您带来产品最新动态和丰富的产品技术内容，欢迎阅读。 导读 【功能发布】4月产品新功能发布 【文档更新】4月重要产品文档更新推荐 【干货精选】4月精选技术文章推荐 【活动预告】5月重要活动预告 【文档更新】4月产品新功能发布 MaxCompute预付...
MaxCompute百问集锦（持续更新）
weixin_34033624的博客
06-30 405
大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。同时，大数据...
MaxCompute - ODPS重装上阵　第六弹 - User Defined Type
阿里云技术
01-08 238
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max...
MaxCompute - ODPS重装上阵　第七弹 - Grouping Set, Cube and Rollup
阿里云技术
01-08 839
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max...
MaxCompute - ODPS重装上阵　第一弹 - 善用MaxCompute编译器的错误和警告
weixin_33686714的博客
10-17 99
MaxCompute (ODPS) ( 注1 )是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 ODPS2.0除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 基于ODPS2.0新一代的SQL引擎，MaxCompute显著提升了SQL语言编...
MaxCompute - ODPS重装上阵　第三弹 - 复杂类型
weixin_33696106的博客
01-12 249
为什么80%的码农都做不了架构师？>>> ...
大数据平台 MaxCompute 公有云多租户设计-3-1 企业数据中台的智能进化—全链路数据治理.pdf
05-30
面对短视频、直播等新业务形态，DataWorks和MaxCompute持续迭代，以适应快速变化的业务需求。通过全链路数据治理，阿里巴巴以较低的成本增长支撑了业务的高速扩张。 总结来说，阿里巴巴MaxCompute公有云多租户设计...
PolarDB-X最佳实践系列（二）：如何使用DataWorks将数据同步到MaxCompute
2401_84182146的博客
04-28 331
以上这些请自行参考相关文档完成。
消息队列介绍
weixin_38703379的博客
10-09 417
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
020 elasticsearch7.10.2 elasticsearch-head kibana安装
m0_46695127的博客
10-13 342
020 elasticsearch7.10.2 elasticsearch-head kibana安装
43页PPT | 大健康行业BI解决方案
数据矿工-数据化运营博客
10-08 643
大健康行业的BI解决方案在典型场景应用中，通过定制化的数据分析模块和角色仪表盘，为企业CXO、BU head、MKT及Sales Team等核心角色提供了全景式、精准化的业务洞察。从全渠道业绩监测到市场情报分析，从组织效能评估到营销互动跟踪，各核心场景下的数据分析应用实现了对企业运营细节的深度挖掘与实时监控，帮助企业决策者快速把握市场动态，精准定位问题，高效调整策略，推动企业经营目标层层拆解并有效执行，全面加速企业的数字化转型进程。随着数据量的激增，多源数据的归集和整合成为药企数据分析的难点。
RabbitMQ 如何保证消息不丢失？
最新发布
qq_74042166的博客
10-13 790
要保证 RabbitMQ 的消息不丢失，需要从生产者、路由过程、消费者和 Broker 端采取一系列措施。消息丢失的常见原因包括：生产者发送失败、消息路由失败、消费者处理异常，以及 RabbitMQ 服务宕机未持久化。为解决生产者端的消息丢失问题，可以采用事务机制或发布确认机制，确保消息成功发送并得到确认。路由过程中，可以通过mandatory参数或设置备份交换机来处理路由失败的情况，确保消息到达队列。消费者端则应使用手动确认模式，保证消息处理完成后才返回 ACK，避免因处理失败导致消息丢失。
pandas常用数据格式IO性能对比
lining9508的博客
10-09 746
本文对pandas支持的一些数据格式进行IO（读写）的性能测试，大数据时代以数据为基础，经常会遇到操作大量数据的情景，数据的IO性能尤为重要，本文对常见的数据格式csv、feather、hdf5、jay、parquet、pickle性能进行对比。
Spark常用RDD算子：transformation转换算子以及action触发算子
m0_70882914的博客
10-10 1353
transformation 转换算子对RDD数据进行转化得到新的RDD，定义了一个线程任务。常见：map、filter、flatMap、reduceByKey、groupByKey、sortByKeyaction 执行算子触发计算任务，让计算任务进行执行，得到结果。触发线程执行的。常见：foreach、first、count、reduce、saveAsTextFile、collect、take。
web 和大数据的就业前景怎么样？
cd_farsight的博客
10-08 286
大数据技术是一个不断发展的领域，掌握大数据技术不仅可以帮助个人在职业生涯中取得成功，而且可以为国家和企业的决策提供科学依据，推动社会的可持续发展。未来，大数据将在更多的领域得到应用，如人工智能、物联网、区块链等，这将为大数据专业的人才提供更多的就业机会和发展空间。由于大数据技术的广泛应用和行业的不断发展，大数据专业的毕业生在就业市场上具有较高的竞争力，并且有着广泛的就业机会。综上所述，Web开发和大数据专业的就业前景都非常好，具有广阔的行业需求、多样的岗位类型、较高的薪资水平以及较大的发展空间。
阿里云MaxCompute V3.1.0 开发指南详解
MaxCompute V3.1.0是该服务的一个特定版本，可能包含了一系列的性能优化、新功能和改进。在这个版本的开发指南中，用户可以找到关于如何利用MaxCompute进行数据建模、查询优化、任务调度以及与其他阿里云服务集成的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值