itxiaoshen博客

数据开发和数据应用创造价值离不开数据的质量，数据质量管理是数据治理重要保障途径，Apache Griffin就是为解决数据质量监控而设计，本篇先了解Apache Griffin定义、特性和架构，然后通过官方提供docker-compose一键部署和体验，通过官网提供批处理和流处理演示操作，最后通过其提供UI管理页面实操一个批处理的数据质量监控示例。

元数据管理在数据治理中非常关键的部分，本篇分享一个现代化元数据管理开源项目datahub，了解其核心功能和概念，进一步理解器其架构和组件，然后从0到1的搭建和使用官方的数据样例演示，最后通过摄取MySQL和ClickHouse的示例打开其探索之门。

依据国家关于加强数字化改革对数据开发利用数字化转型的企业推进落实数据治理；数据治理正在逐步形成为业界的共识，数据治理涵盖数据发现可用、数据及时稳定产出、数据质量保障、数据安全合规、数据生产的经济性，根据所处在数据治理的阶段不同，数据治理关注的核心需求也存在差异，数据治理管理过程最简单最通俗的就是利用组织、制度、流程和工具将信安系统的数据转换为有用的信息的过程。

数字化经济下企业做数据化转型进行数据开发利用往往是先将原来分散各部门各业务系统的数据（业务数据如互联网用户数据、企业内部数据如人力资源系统、研发生产数据如核心技术或专利等）集中到大数据仓库中，这个集中化数仓安全重要性就非常凸显了，原来如果某个部门业务系统数据发生篡改、破坏、泄露、非法获取、非法利用的安全事件影响的只是局部而现在则是整个企业数据资产层面，可见数据安全已经明确上升到国家安全、整个企业、组织或机构安全的最高层级

数据化已经贯穿经济社会发展的全领域、多层级，成为国家治理经济发展和社会运行的核心驱动力，而数据作为新的生产要素的核心定位也成为数据化过程中最关键的驱动力，国家发展数据化经济提出更高的要求，数据治理先行同步统筹安全和发展，其中以数据安全治理为核心的数据安全能力框架2.0和零信任身份安全解决方案动态细粒度访问控制能力和业务应用控制相结合，实现对数据流转的精准控制，做到主体的数字身份可信，行为操作合规以及计算环境和数据实体有效防护，推进数据安全治理产品化、体系化走向一个新的台阶

数据分类分级对于数据的安全管理至关重要，安全分类分级是一个“硬核课题”，从数据治理开始，除了标准化和价值应用，重要的课题就是质量+安全。安全是底线，是价值应用的前提和基础。数据分类可以为数据资产结构化管理、UEBA（用户及实体行为分析）、个人信息画像等数据治理工作提供有效支撑；数据分级通过对不同级别的数据设置相应访问权限、加密规则、脱敏规则等，可大大提升数据安全管控效率，是数据安全精细化管理的重要一步

数据安全是大数据产业的发展基石，更是国家安全重要保障；信息化发展是一个新机遇，政府数据的开放共享和数据壁垒的打通，推动双循环发展的新机遇，复杂多变的国际形势让我国科技创新、新型基础设施建设和自主可控关键技术发展迎来新的发展机遇，随着坚定的发展脚步，5G、AI、工业互联网等将改变整个社会实现智能化；其次，目前网络安全形势十分严峻，网络攻击、数据贩卖、技术防范弱、自然灾害等问题大量存在，需要从产品和服务、网络和系统、人员和管理以及应急综合治理等方面进行应对；最后，数据治理需要综合施策，需要国家法律法规、数据源头

数据质量，其实大家希望我用数据的时候像一个超市的货架一样，用起来会很方便，像数据架构，它其实就是超市里面的货架，怎么去设计出来；数据标准其实就是我们的蔬菜、水果它的规格是不是统一的；再之后就是数据质量，这个很容易理解，这个就是货架里面的商品当前是否符合我的质量的一些要求；然后元数据我们更多的叫它描述水果、蔬菜这种品种规格；数据生命周期管理也是类似就是我的一些蔬菜和水果的保质期是什么样的；数据安全管理就是不要有人偷，我们把超市里货架的设计其实就把数据治理整个体现简单解释出来了；