hhue2007的专栏

数据治理是一项整体统领性工作，数据治理是一项企业战略层面的工作，为企业提供了治理的原则、制度、流程、整体框架、管理指等，监督和指导数据管理等其他知识领域工作的执行，确保根据数据管理制度和最佳实践正确地管理数据，并可以从其数据中获得价值。详细阐述了数据治理的目标原则、业务驱动因素，也说明了数据治理的范围和聚集点在哪里，数据治理和数据管理的关系，数据治理和IT等其他治理的关系，接下来阐述了数据治理的组织和运营模式，相关的活动有哪些，工具方法有哪些，形成的交付物有哪些，以及如何度量数据治理的效果等等。总体来说，数

数据安全是一项企业层面的统筹协同工作，主要为企业数据资产提供验证、授权、访问和审计等工作，主要目的是为了保护利益相关方的隐私保密要求和数据资产的不当访问，并遵守相应的法规要求，同时也分析了数据安全的手段、方法和工具，常见的数据安全活动和安全类型有哪些，数据安全的3大目标6项原则和3部法规，数据安全过程的4A1E具体指什么，数据安全来源有哪些，数据安全意识的培养等等，如何在数据利用过程中做好数据安全防护控制，也明确了外包过程中的数据安全责任是甲方无法委托出去的，制定数据安全措施必须站在那些将使用数据和系统。

数据管理工作需要技术和非技术的双重技能，由业务人员和信息技术人员相互协作，共同来承担责任，确保组织管理的数据是高质量的，主要驱动力是使得组织能够从其数据资产中获取价值，得到关键信息和知识，在竞争中获得优势。同时，为了做好数据管理工作，首先要做好组织的元数据管理，数据管理工作是一项跨职能的工作，数据管理要站在企业视角开展，需要相关人员从多角度思考，避免数据的误解误用风险，而且不同种类的数据有不同的生命周期、不同的风险，管理要求也有所不同，导致数据管理工作更加复杂多样。数据管理工作同样要业务驱动，需要重点关注对

数据质量管理要聚焦组织或客户的关键核心数据，比如企业的财务报告，监管报告和商业战略书等。数据质量管理不是一个项目，是一个持续性的日常工作。数据质量管理的主要驱动因素是为了提高组织的数据利用价值、工作效率和声誉，并降低成本和风险，明确了数据质量的六大维度，分析了出现数据质量问题的常见原因，如何借助PDCA模型改进数据质量，如何利用各种数据质量工具来剖析数据、发现并提升数据质量，也提出了创建高质量数据的最佳方法有哪些，具体实施措施有哪些，最后梳理了数据质量和数据治理的关系，数据质量是数据治理工作的一部分。

​继续研读DAMA数据管理知识体系之文件与内容管理章节，结合前两篇博客，本章主要讲述文件或内容管理方面的知识点。现实生活工作中的非结构化数据增长速度要远远快于结构化数据，多达80%的数据存储是在关系型数据库之外，很多特征和有效信息都隐藏在非结构化数据中。因此，管理非结构化数据就成为企业非常有必要的工作，管理非结构化数据需要数据管理专员与其他数据管理专业人员、 档案管理人员的有效合作。而且，如果要理解非结构化数据，就需要借助描述其特征的元数据信息，比如数据格式、模式、主题等。

数据存储和操作是数据建模与设计之后紧接着要考虑的一大2方面，或者说是一并考虑的因素。主要考虑数据库后端的存储和操作方面的工作，目的是为了保障支撑业务应用系统的连续性，包括可用性、可靠性、相对隔离性、完整性和一致性等。可以说这部分工作主要是DBA来主导，会涉及一部分网络存储方面的工作，要结合业务选用或混合使用ACID、BASE处理模式等，可以说二者没有绝对的好坏之分，只是适合的场景不同罢了；另外，这部分工作比较重要的数据的备份、恢复和对中间或前端的响应性能。

华为公司的业务范围广泛，市场竞争压力大，迫切需要用一些高效的手段来减轻员工的工作量，让员工各司其职，在各自承担的主营业务工作中投入更大的精力，这一点从他们设置公司层面的数据管理部就能看出来，关于围绕数据的工作，感觉到华为公司上下一盘棋，明确数据工作是业务运行规划工作的一部分，同时专门成立一支队伍，协助各业务版块开展数据治理工作，也就是说，只有将数据工作融入到业务中，数据质量才能提升，只有将数据和财报精密结合，将数据和资金关联起来，数据才能流动利用起来，逐步发挥其价值，后续随着规范化数据的积累

数据建模和设计是应用系统或者数据架构设计过程中必须要整体考虑的事情，只是考虑的层级高度、细致情况不同罢了，大家在做信息化建设过程中，在做业务分析和需求调研过程中，就会同步开展建模设计工作，其实整个数据建模和设计就是数据使用者的使用需求和数据生产者的应用需求之间的一种平衡，没有一种一成不变的标准答案，只是之前大家在应用系统建设过程中较少考虑数据未来的其他应用服务需要，目前数据作为生产要素，各方面提出了更高的要求，导致大家在做数据建模和数据库设计过程中要尽量考虑周全。

企业架构包括企业的业务架构、数据架构、技术架构和应用架构，要想做好企业的信息化数字化建设规划，业务架构是企业领导带领业务领导及业务人员开展策划形成的业务转型的整体发展战略，应用架构是企业为实现业务架构设计的目标而设计形成的整体应用系统、平台、模块或功能构成关系及组织，技术架构是实现应用架构的共同载体和共性浓缩，包括技术之间的支撑关系和沉淀等，数据架构是业务和技术之间的一座桥梁，是业务架构落地实现之前的形式化表达描述，包括企业业务开展过程中的关键要素，要素间关系和流向等。

《人工认知系统导论》主要涉及了人工智能领域的相关概念、理论、方法和技术。全书首先对人工认知系统建模的关键、认知是什么？智能体是什么？认知科学的三范式，认知科学和人工智能的关系等，然后在后续的章节中详细探讨了认知系统的六大属性，即自治性、具身化、学习与发展、记忆与预测、知识与表征以及社会认知等核心议题。作为一般人工智能的科普书，帮助了广大读者了解认知科学、人工智能和人工智能认知系统等相关概念。

主要讲述了人类如何融合统一，人类的融合统一是一个不可逆转的历史趋势，全球化是人类融合统一的重要表现形式，人类未来的发展将更加依赖于合作与互信；也讲述了科学革命是如何对人类的做事、思考方式进行改变等，了解到科学革命如何让欧洲人称霸世界，科学革命可能给人类带来的两面性问题等。

《人类简史》是以色列历史学家尤瓦尔·赫拉利（Yuval Noah Harari）所著畅销书之一。作者从人类起源、认知革命、农业革命、人类大融合、科学革命和信息革命等方面展开编写，书中谈到了语言的出现、虚拟故事、社会秩序、文字的出现、文化的形成等等，以及农业革命带来的社会结构变化和生活方式的改变。其实，我们为什么要了解人类变迁历史，通过了解历史纵深感、思考认知革命、理解文化和虚构故事的力量、了解科技革命对社会的影响等等，这样可以更好的思考未来，提出了对未来的一些猜测和思考。

​人月神话这本书其实是在去年初就读过的，当时也总结了两篇读后感，详见之前博客，今天无意间需要参阅一下，就将后面章节进行了重读，特别是《人月神话》的最后部分（第20章），发现之前感觉总结的过于细致，没有整体，在此做一个整体总结，读到最后才发现人月神话是关于人与团队的书，只是恰巧支撑了大型软件编程类项目。

随着各行各业的数字化转型发展，围绕数据的数字化应用如雨后春笋般出现，数据作为业务过程的重要产品，数据作为一种资源、生产要素或商品，越来越得到大家的重视，同时，数据只有在交易流通中才能体现出价值，但需要数据安全的支撑。数据作为数字经济的生产要素之一，具有四方面的特性：数据权属、数据流通、数据安全和数据价值，而数据区别于其他生产要素，数据在流通过程中的安全性需要格外得到重视，而隐私计算就是解决这一问题的利器。

企业的应用架构建设模式主要为数据+中台(平台)+应用，这里的企业就涵盖互联网大企业和传统企业，大家都在开展必做的事情，即数字化时代的企业数字化转型 。同时，正好最近在做顶层设计和数字化转型整体应用架构设计，就梳理了一下中台发展历程，中台是阿里巴巴在2015年最早提出来的（所谓的大中台、小前台）。其实，很早以前银行系统早就提出了middlelayer的概念，只是当时叫做中间层，并没有叫做中台，感觉中台还是平台的概念，只是中台更加体系化和系统化，并加入了一些管理运营机制方面的内容。

数据因业务开展而产生，后续数据收集汇总后，数据需要用来分析和使用，进而形成分析服务，用于支持企业的战略决策和价值挖掘，用于商业决策，而分析数据需要不同类型数据的融合关联，以及提供数据挖掘的分析基础设施环境，否则数据就还是以原始数据方式存放，没有合适的信息和工具供数据科学家或用户便捷使用，因此提出了数据湖仓，他综合了数据仓库的数据结构和数据管理特性，同时借鉴了数据湖的低成本存储和支持多种类型数据的组织存储特性等。

随着工业互联网的发展，工业企业在生产运营管理过程中会产生各式各样数据，主要有研发设计数据、用户数据、生产运营数据、物流供应链数据等等，这样就形成了工业大数据，这些数据需要依赖企业的网络环境和应用系统进行内外部流通才能实现价值挖掘，如何高效安全的管控这些数据？并基于这些数据，结合企业的业务流程和管理活动，引入信息新技术驱动，开展多种形式的数据应用，实现数据价值挖掘呢？就需要理清楚这些数据的特点，应用价值效果，如何建立安全合规防护体系，实现数据在不断流通过程中的再利用和价值再造等等。

信息安全概念最大，也是最早的概念，甚至在没有计算机就已经出现了，网络安全和数据安全是并行的概念，网络安全和基础设施安全是通信链路与基础设施的安全，网络安全需要建立在基础设施安全的基础上开展，因此统称为网络安全，数据安全是最近随着数据转变为生产要素才提出的，主要围绕数据的全生命周期（采集、存储、利用、加工、传输、提供和公开等）开展的安全防护与监测控制工作。总体来说，信息安全包含数据安全、网络安全，网络安全离不开基础设施安全，数据安全与网络安全是平等地位。

作为20世纪最经典的科普类图书之一，当时读的懵懵懂懂，现在重新阅读又有了不同的感受，再结合过去的科研工作，深刻体会作者如何用通俗易懂、幽默风趣的语言来阐述科学中的事实和臆测，体会到了数学的魅力（特别是数论），体现了作者的深厚科学素养和人文底蕴。本次主要阐述第一二部分大数来历、无穷大数列、时空转换和相对性等内容，第三四部分的微观世界和宏观世界，将在后面陆续开放出来。作为从事科研工作的一员，我觉得大家还是要是不是的阅读一些经典的科普图书，领会过去各个大师级人物是如何开展科学研究和实验验证的。

通过研读华为数据之道，了解到华为作为一家非数字原生企业，其业务涵盖研发、营销、制造、供应、采购、服务等，业务相当复杂。因此华为在开展数据治理过程中明确了由谁来对数据负责，特别是对数据质量负责，明确了数据质量的衡量或度量指标，并成立了数据管理部，确定其职能定位，构建了面向业务交易支撑的信息架构。通过对华为的数据治理工作经验的学习与分析，结合自身业务，得出如下一些可供借鉴的地方，特别要强调的是数据治理的目的是为了支撑业务、沉淀数据资产、形成知识，再结合认知智能深挖数据价值，提升企业的安全合规能力和竞争能力。

作者从古到今，谈到了上帝、神、宗教、科技、生物、智人到未来的超人智神（数据主义），让我们感受到一场人类如何从众多动物中脱颖而出，引领主导世界这么多年，同时借助生物科技和计算机技术的发展，展望世界未来发展展望，对于我们人类来说，作者在第三部分写的比较悲观，但这何尝不是一种历史发展的趋势呢，如果人类要从小小的地球走向太阳系、银河系，甚至宇宙，我倒是觉得这种预测也不失为一种未来可考的预测方式，特别是目前各行各业都在大兴数字化转型和智能化发展，这种趋势是必然，甚至在某些局部场景环节。

知识图谱相当于一张网，是一种大型知识库，一种揭示实体之间关系的语义网络，是事物及其关系的形式化描述，分为通用知识图谱和领域（行业）知识图谱，如DBpedia，OpenKG，Wikidata.知识图谱为多源、异构、海量、动态数据的表达、组织、管理和利用等提供了一种更为有效的方式，知识图谱促进了理解和处理，使得智能化水平更高，更接近人类认知思维。

本文主要讲述一些相对成熟的数据治理应用实践案例、数据治理的准备工作、6大误区和5个技术展望，希望对大家在开展数据治理工作及数字化转型工作有所帮助与参考。正如前面多次强调的一样，数据治理工作是一项重实践、持续性迭代、错综复杂的过程性工作，项目周期长，见效时间慢，价值体现间接，甚至需要做好背锅的一系列工作，本书整理出的经典方法论实践，我觉得非常有借鉴意义，就整理出来分享给大家，与大家共勉。

本部分内容主要讲述了数据治理的7把利剑，包括数据模型管理工具、元数据管理工具、数据标准管理工具、主数据管理工具、数据质量管理工具、数据安全治理工具、数据集成与共享工具。数据治理的本质是管理数据资产，改善数据质量，防护数据安全和个人隐私，促进数据应用。不同的企业要根据自身的业务诉求特点，有针对性的选择技术平台和工具。同时，企业要从一开始就意识到数据治理是一项长期持续性的日常工作，数据治理工作的核心是关注对业务价值增长的助力，一般与数据相关的项目都是一项重服务或重实施的项目工作。

本书这七章从数据治理工作开展的具体举措和技术角度，阐述了任何技术或方法都是为数据治理的目标而服务的，企业数据治理的目标和需求不同，所采用的技术和方法也会有所侧重，但是，常用的技术和方法主要就是以下这7项。在数字化时代，数据作为增强企业竞争力的核心要素，企业发展需要对数据进行全面有效的管理和利用，形成相应的规矩模式，主数据作为企业的上下左右串通的黄金数据，作为企业数据核心中的核心数据，是企业开展业务应用、数据分析、系统集成的基础，是数据互联互通、数据分析挖掘的基础，是企业数字化转型成功与否的基石。

大学期间学过信号处理课程的同学一定非常熟悉这个模型，以及工作中从事后端数据传输处理（比如电子邮件的发送接收设计等）的小伙伴一定非常熟悉，原来，这些技能其实早在人类祖先的交流中就拥有了，只是没有一个相对规范的称呼，通信模型。数字进制的概念描述是不同位置的数字表示不同的量，中国用个十百千万千万亿兆，罗马人用I：1，V：5，X:10，L:50，C:100，D:500，M:1000。经过多年的自然语言的研究，科学家发现，要让机器具有智能，不是让机器理解自然语言，而是靠数学，准确的说是靠统计学。

本书这八章从方法论的角度，阐述了数据治理的持续性、长期性、全面性和循环迭代性，明确了数据治理要以业务目标为导向，以数据标准为基础，以优化流程为关键，以技术创新为支撑，以组织制度为保障，明确数据治理的业务目标和治理范围，指出数据治理不能一蹴而就的，需要建立起长效运营机制，培养一批有工匠精神的数字化人才，不断打磨数据标准和数据质量，将数据治理变成一种机制、一种文化、一种习惯，才能达到数据治理的标本兼治、长治久安的目标。数据治理是对数据资产的治理，更是对数据资产所属的利益相关方的协调和规范，甚至是利益再分配。

同时数据治理也是一个系统工程、长期工程和全员工程，需要在数据治理过程中逐步形成生生不息的数据文化，将数据思维融合到企业文化中，建立起用数据思考、用数据说话、用数据管理和用数据决策，深入挖掘数据价值，大数据挖掘的根本价值就是从大数据的不确定性中发现规律，获得确定性，来指导改进业务融合创新，甚至再造商业模式或生态，提升企业的市场竞争力。3）推行数据治理，增强数据文化，数据治理是理论与实践的结合体，扎根与数据文化中，数据治理与数据文化培养相互促进，分别在数据安全、质量、组织和人员，制度与流程、技术与工具等方面。

谈到机器人，大家首先想到的就是科幻电影或小说里面的各种高度智能化、自动独立化的机械场景。应该说，机器人技术目前还属于起步阶段，但是可喜的是机器人已经从单支链机器臂到并联结构、从刚性到柔性、向变化多端方向转变，机器人发展的方向包括机器人移动技术的进步突破，机器人应用场景的突破，相信未来的机器人通过结合AI技术，特别是ChatGPT，最近ChatGPT再一次将人工智能在NLP领域的发展向前推进了一大步，ChatGPT可以说对公众提供了便捷的入口软环境，而机器人相当于硬件输入输出环境，

ChatGPT彻底改变了以往我们使用计算机的应用入口，目前大家上互联网的入口主要还是搜索引擎，也有一些app，比如头条，小红书、b站等，但这些入口都有一个问题，主要还是通过关键词匹配内容，最多加入一些内容相关和个性化特征。但ChatGPT天生就是用大量语料训练的自然语言大模型，他解决了自然语言的分词、实体识别、关系识别、意图识别等等，而且ChatGPT是AIG的，即通用人工智能，解决大众普适的各类自然语言的问题，ChatGPT的受众更广泛，使用更自然。

本书彻底讲透了数据治理，让我学到了数据治理的四大维度，即从道、法、术、器讲述数据治理的基础性、全局性、系统性、复杂性、持续性和耐性。正如作者提到的，数据治理工作要将其作为生态来做，形成自我驱动、自我进化、可持续发展和长效运营机制来开展，正如大家常说的党建永远在路上，数据治理也一样，数据治理永远在路上。同样，大家常说的数字化转型，其实数据治理就是企业数字化转型的必经之路，治理是数字化转型的基础和前提，同时也是一个系统工程。

在数据质量管理过程中，一个重要原则就是将改进集中在对组织及客户最重要的数据之上开展（即关键数据），之后需要识别能描述或暗示有关数据质量特征要求的业务规则，只有高质量的数据才能给组织及客户提供更多的价值，实现数据资产价值的再利用和价值的最大化。数据质量需要从组织文化方面变革，特别是数据文化的建立和领导的重视，领导要有数据意识，同时要意识到数据质量管理是一个持续的、不断往复的全生命周期过程。数据质量管理是一个系统工程，长期工程，需要不断的积累总结，迭代循环，形成长尾效应，在未来或者下游业务中才能逐步

任何软件系统都具有复杂性、一致性、可变性和不可见性，以及软件开发本身就是人类创造性的建设过程，导致软件系统的设计、开发、实施运营过程要比其他类型的项目建设复杂的多得多，需要我们不断的经过大量的实践再实践，也就是说软件系统应该是人类创造中最错综复杂的事物，软件工程的焦油坑在未来很长一段时间内还会存在，需要我们共同努力寻找银弹。

《人月神话》是计算机领域的经典著作，甚至可以说是圣经，该书虽然创作于20世纪，但对今天我们正在开展的软件建设项目或数字化转型项目同样有借鉴意义。书中阐述了大型项目建设过程中的各种坑，要时刻关注产品或系统的概念完整性和易用性，更不能片面的利用人月替换工作量或增加进度，甚至神话人月，提出了类似于外科手术队伍的软件编程队伍，最后阐述了巴比伦塔建造项目的失败，总结形成了三种组织搭配方式。通过阅读，让我们反思软件开发项目遇到的各种问题、问题的原因，以及对应的处理机制是否合适等。

本书主要阐述了什么是数字化，如何把握利用数字化时代，把握数字化转型大势，关键是培养数据思维，通过数字化组织落实实施，通过数字化创新推动，构建数字化供应链，数字化营销，最终形成全场景渠道赋能，进而积累形成不同的数字化资产，为后续的不同类型的数字化创新应用场景提供引擎和燃料。

写一个简短的年度总结，作为2022年的收尾。

元数据就是数据的数据，或者是描述数据的数据。

一般来说的架构主要有业务架构、数据架构、技术架构和应用架构，有时候还会提一点功能架构。

架构设计师值得阅读的一本好书，推荐。

第一篇读书笔记，是关于逆商的，希望每年至少阅读10本书，并发表读书笔记和总结。