背景
推荐系统和数据开发息息相关,本博文将阐述使用阿里的dataworks的helloworld。
申请账号与环境预览
我直接向运维申请了公司数据开发的子账号,包括以下:
-
子账号的模块权限,可以直接使用阿里的pass平台进行开发工作,功能已经很全
-
accessId和sk,用于编程调用阿里api时确保安全的
helloworld查询
打开临时查询
新建一个自己的查询。输入查询指令:
DESC ztjy_dwd.dwd_user_login_parent_daily_test_i;
得到如下结果:
+------------------------------------------------------------------------------------+
| Owner: ALIYUN$yunadmin@szy.cn | Project: ztjy_dwd |
| TableComment: 家长端用户每日登录统计表_测试用 |
+------------------------------------------------------------------------------------+
| CreateTime: 2019-09-10 15:43:29 |
| LastDDLTime: 2019-09-10 15:43:29 |
| LastModifiedTime: 2019-09-10 15:45:00 |
+------------------------------------------------------------------------------------+
| InternalTable: YES | Size: 252024152 |
+------------------------------------------------------------------------------------+
| Native Columns: |
+------------------------------------------------------------------------------------+
| Field | Type | Label | Comment |
+------------------------------------------------------------------------------------+
| stat_date | string | | 统计日期 |
| student_id | string | | 学生id |
| parent_id | string | | 家长id |
| school_id | string | | 学校id |
| class_id | string | | 班级id |
| login_count | bigint | | 登录次数 |
| create_time | datetime | | 创建时间 |
| update_time | datetime | | 更新时间 |
| etl_date | datetime | | ETL运行时间 |
+------------------------------------------------------------------------------------+
| Partition Columns: |
+------------------------------------------------------------------------------------+
| ds | string | 日期:yyyy-MM-dd |
+------------------------------------------------------------------------------------+
评价
dataworks是maxcompute的更上层封装,所有的数据都保存在maxcompute里(类似于hive)