数据治理需要注意的一些方面

本文关注计算领域的数据倾斜和暴力扫描问题,强调存储的效率与生命周期管理。在研发层面,提倡避免全表查询,优化INSERTINTOSELECT操作,并处理冲突任务。安全措施包括数据保护模式、访问权限控制及数据加密。同时,关注工作空间的管理和数据质量监控,确保系统的稳定运行和数据安全。
摘要由CSDN通过智能技术生成
  • 计算方面

       任务产出未被读取

        输入为空

        输出为空        

        数据倾斜 

        暴力扫描 

  • 存储方面

        空表

        长时间未访问 

        未设置生命周期 

  • 研发方面

        使用select *

·       冲突任务 

        连续出错节点 

         INSERT INTO SELECT优化

        暂停节点

        任务运行时间超长

        表负责人为主账号

  • 安全方面

        避免作为调度访问身份的子账号频繁登录

        数据保护模式

        使用标准模式工作空间来进行数据生产

        数据源访问模式

        数据存储加密

        计算引擎生产开发环境隔离

        数据存储备份

        合理指定工作空间管理员数量

  • 质量方面

        配置表的质量监控

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值