阿里云DataWorks使用总结2

1、安全中心申请了整张表的永久权限，后续查询还是报错

这是由于申请之后，表结构变化导致的，需要重新申请，如果不想每次都重新申请，建议去MC中通过 grants的方式进行授权
1）ACL授权文档
https://help.aliyun.com/zh/maxcompute/user-guide/acl-based-access-control#concept-2159749
2）MC权限明细
https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-permissions?spm=a2c4g.11186623.0.0.4f81381508S5n0

2、DW数据地图中加载不出来数据

报错信息：{“code”:1109110700,“requestId”:“24127ac4ac76dc423538c8a14e3b1444”,“path”:“/dma/tableColumns”,“url”:“https://bff-cn-hangzhou.data.aliyun.com/dma/tableColumns?entityType=odps-table&entityGuid=odps.lhsmartprom.bi_waterfall&pageSize=500&pageNum=1&nameKeyword=&partitioned=N”}
手动刷新元数据报错：{“code”:600002,“requestId”:“8dca608f385fd1f086a5e71c37f813f2”,“path”:“/dma/searchRefresh”,“url”:“https://bff-cn-hangzhou.data.aliyun.com/dma/searchRefresh?tableGuid=odps.lhsmartprom.bi_waterfall”}
最后发现是新建了一个DW工作空间绑定了已有的一个MC空间，MC这个空间已经和其他空间绑定了，所以导致的该问题

3、运维中心资源组展示问题

这里仅仅展示调度起来的运行中的任务，
像那种手动触发的在里面是看不到的，但是可以到控制台也的哪里看

4、跨Project访问失败问题：

节点所在的项目跟odps表不在同一个项目里（即跨项目导入），会导致任务执行失败，怎么办
现象：任务运行失败，日志提示：DataXException: Code:[20000], Description:[runtime error]. - 准备任务失败。 com.aliyun.odps.OdpsException: ODPS-0420095: Access Denied - Authorization Failed [4019], You have NO privilege ‘odps:CreateResource’ on {acs:odps:*:projects/xxx}.

将配置界面转换脚本，然后在同步脚本的odps输入配置中加入参数"packageAuthorizedProject"，将当前datax节点所在的项目加入到这个配置项目中，具体操作如下：
界面配置转换为脚本。（注意：一旦转换为脚本文件，任务将不能恢复到界面模式）

5、创建集成任务并启动

1、参考这个demo
https://help.aliyun.com/zh/dataworks/user-guide/create-a-batch-synchronization-node?spm=a2c4g.11174283.0.i2
2、调用这个接口创建
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/CreateDISyncTask
3、调用update修改调度配置
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/UpdateFile
4、提交文件到开发环境
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/SubmitFile
5、补数据接口
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/RunCycleDagNodes
6、启动一次的接口
https://next.api.aliyun.com/api/dataworks-public/2020-05-18/StartDISyncInstance?params={%22ProjectId%22:85171,%22TaskType%22:%22DI_REALTIME%22,%22FileId%22:517780421}&tab=DEBUG
可能会有这个报错
{ “RequestId”: “6CBA17FE-0430-535B-BBFC-88D1AD5AC11F”, “HostId”: “dataworks.cn-hangzhou.aliyuncs.com”, “Code”: “Forbidden.Access”, “Message”: “Access is forbidden.”, “Recommend”: “https://api.aliyun.com/troubleshoot?q=Forbidden.Access&product=dataworks-public&requestId=6CBA17FE-0430-535B-BBFC-88D1AD5AC11F” }
这个报错是由于目前DW的离线任务不支持运行一次这种操作，所以就是那个接口不是调用历险任务的，只能通过补数据的方式

6、任务成功，但是数据量少了

可能是由于字段对应不上，就是选择了同行映射，但是字段名实际没对应上，就会导致这个问题，选择同名映射就可以了