数据开发-dataworks的使用之helloworld

本文分享了在推荐系统背景下,使用阿里DataWorks与MaxCompute的实际操作经验,详细介绍了子账号申请、API调用安全设置及helloworld查询过程,展示了如何获取家长端用户每日登录统计数据。
摘要由CSDN通过智能技术生成

背景

推荐系统和数据开发息息相关,本博文将阐述使用阿里的dataworks的helloworld。

申请账号与环境预览

我直接向运维申请了公司数据开发的子账号,包括以下:

  • 子账号的模块权限,可以直接使用阿里的pass平台进行开发工作,功能已经很全
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • accessId和sk,用于编程调用阿里api时确保安全的

helloworld查询

打开临时查询
在这里插入图片描述
新建一个自己的查询。输入查询指令:
DESC ztjy_dwd.dwd_user_login_parent_daily_test_i;
得到如下结果:

+------------------------------------------------------------------------------------+
| Owner: ALIYUN$yunadmin@szy.cn | Project: ztjy_dwd                                    |
| TableComment: 家长端用户每日登录统计表_测试用                                                     |
+------------------------------------------------------------------------------------+
| CreateTime:               2019-09-10 15:43:29                                      |
| LastDDLTime:              2019-09-10 15:43:29                                      |
| LastModifiedTime:         2019-09-10 15:45:00                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 252024152                                          |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| stat_date       | string     |       | 统计日期                                        |
| student_id      | string     |       | 学生id                                        |
| parent_id       | string     |       | 家长id                                        |
| school_id       | string     |       | 学校id                                        |
| class_id        | string     |       | 班级id                                        |
| login_count     | bigint     |       | 登录次数                                        |
| create_time     | datetime   |       | 创建时间                                        |
| update_time     | datetime   |       | 更新时间                                        |
| etl_date        | datetime   |       | ETL运行时间                                     |
+------------------------------------------------------------------------------------+
| Partition Columns:                                                                 |
+------------------------------------------------------------------------------------+
| ds              | string     | 日期:yyyy-MM-dd                                       |
+------------------------------------------------------------------------------------+

评价

dataworks是maxcompute的更上层封装,所有的数据都保存在maxcompute里(类似于hive)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值