阿里云dataworks测试

开始

参考文档：https://help.aliyun.com/zh/ram/user-guide/create-an-accesskey-pair#task-2245479
文档记录时间:20241010
RAM 用户登录地址：https://signin.aliyun.com/qhdata.onaliyun.com/login.htm#/main
登陆进入后选择DataWorks

然后选择已有的工作空间或者创建一个新的工作空间

进入空间后可以查看空间运行情况，然后点击数据开发进入系统

查看全局信息

查看数据源信息(endpoint与project的信息)

查看绑定、解绑钉钉

参考文章：https://help.aliyun.com/zh/ram/user-guide/bind-a-dingtalk-account-to-a-ram-user

创建、查看AccessKey(Access Key ID与Access Key Secret)

线上开发

新建开发节点

mysql

参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/create-an-odps-sql-node

python

参考文章：https://pyodps.readthedocs.io/en/latest/index.html
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/use-pyodps-in-dataworks
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/create-a-pyodps-3-node
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/overview-13
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/create-a-dataframe-object

• ODPS入口
  DataWorks的PyODPS节点中，将会包含一个全局的变量odps或o，即ODPS入口，您无需手动定义ODPS入口。
  
  貌似在线上开发时会提供pandas:1.0.5

本地开发

python

参考文章：https://pyodps.readthedocs.io/en/latest/index.html
参考文章：https://blog.csdn.net/Jiazengzeng/article/details/127212550
安装PyODPS

pip install pyodps

import os
from odps import ODPS
o = ODPS(
	access_id='', #登陆账号
	secret_access_key='', #登陆密码
	project='project', # odps上的项目名称
	endpoint='http://service.cn-beijing-xxx:80/api'
	)
with o.execute_sql('select * from dw_org_invest_dtl limit 10').open_reader() as reader:
	pd_df = reader.to_pandas()  # 直接转化为pd的df格式

程序调度

参考文章：https://help.aliyun.com/zh/dataworks/use-cases/create-a-workflow
新建作业


然后在通用下创建虚拟节点-开始跟结束

然后配置作业