睿治数据治理管理平台白皮书_天冕大数据|研发SQL自动化审核与治理平台的经验分享...

随着互联网、大数据、云计算和人工智能等技术在国内的跳跃式发展,金融科技已成为金融机构角逐的新赛道。而金融与科技的有效结合,涉及应用水平、服务能力以及监管效能等方方面面,在这种大背景下,金融企业数据的内部安全管控、跨界融合风险防护、云环境外围系统攻击防御,显得尤为重要。

bbeca5ded1a0facf930d2c1041a2fe0d.png

1、为什么要研发SQL自动化审核与治理平台

根据近年来发布的数据泄密成本研究,发现除涉及外部恶意违法攻击,如漏洞攻击、SQL注入等手段窃取敏感数据外,近半成是由于内部或第三方承包商权限等管控缺失或IT业务流程故障导致的数据泄密。

因此除个人信息隐私识别、数据加密、传输行为审计、数据脱敏等手段外,用于数据库账号权限管制、SQL审核及注入风险防御、自动化运维、SQL洞察、高危行为基准、权责行为追踪、流程合规化的SQL自动化审核与治理平台的研发刻不容缓。

2、当前存在哪些问题

7e513226192afc72dc10e5d67e46ddd9.png

3、自研产品解决了哪些问题

66ea71f1902690ee7316471b7fd8a9c7.png

4、如何具体落地

SQL自动化审核与治理这个概念早在前几年就是比较热门的概念,业内也不乏有优秀的平台。目前MySQL数据库相关的审核平台已较为成熟。而如何从自身实际出发,做好安全防护的同时,创新性的融入PostgreSQL、MongoDB、Redis等开源数据库成为一个不小的挑战。

平台的构建离不开需求的分析与设计。在平台设计之初,我们通过读、写两种行为划分用户操作,加入权限认证管理严格把控账号信息安全,且对用户行为进行审计。

针对写操作,会通过繁杂的正则表达式和python脚本对用户行为进行语法正确性核查;利用执行计划或者表信息对更新/插入语句进行影响范围和风险等级估算;利用自定义的高位特征检测对高危操作进行禁止或警告;利用gh-ost或python脚本将修改语句转入后台工具自动处理;利用虚拟索引、SQL执行计划、表/视图信息等对新增索引在线评估。其中,有事务概念的数据库可利用事务进行回滚操作,无事务概念的利用脚本解决。

针对读操作,加入SQL成本判断并禁止部分非法/不良SQL查询方式。另外加入sql延时执行功能、添加pgbadger、redis-benchmark、mtools进行日志分析外,也新增了mongo-shake、shemasync、binlog2sql进行同步或反解析。

自动化固然是好的,但我们仍然觉得有些判断和操作是自动化不能代替的。因此平台中增设了上级业务审批的人为确认操作,目的是做二次确认。即开发运维人员等在有权限且合规的情况下,同部门上级人员从业务层面做二次检验,从而减少误操作的风险和业务逻辑判断失误的情况。

实际设计流程图可参照如下:

3c9b141689a99cfe3bd7fdf3daf0d1b5.png

5、结束语

工欲善其事,必先利其器。SQL审核与治理平台的研发一定程度上优化了DBA的审核工作、提高了SQL的质量、也减少了开发运维人员的沟通成本。最重要的是在安全管制、风险防护、数据泄露等层面提供安全保证和安全事故的权责追查。但SQL审核与治理应当是个长久且需日益完善的环节,这样才能更好为业务和技术服务。

自动化的背后应当是判断谨慎化、流程合规化、功能全面化、产品智能化和系统健壮化的。只有日常做好做精,提前发现和解决潜在的性能和安全问题,做好防御工作,才能防患于未然。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值