九层之台起于累土-CSDN博客

原创【Flink】Flink各版本及新特性

在流式 SQL 查询中，一个最经常使用的是定义时间窗口。Flink 1.13 中引入了一种新的定义窗口的方式：通过 Table-valued 函数。这一方式不仅有更强的表达能力（允许用户定义新的窗口类型），并且与 SQL 标准更加一致。Flink 1.13 在新的语法中支持 TUMBLE 和 HOP 窗口，在后续版本中也会支持 SESSION 窗口。

2024-02-21 17:56:40 3836

转载 TeraCLOUD更名为InfiniCLOUD，注册就送45G+15G的WebDAV网盘

总体来说，TeraCLOUD的空间还是很值得用一用的，平时我们同步一些资料什么的完全没有问题，是个替代坚果云的不错选择，感兴趣的朋友不妨试一试，OVER。👌🐱🚀🐱🚀🐱🚀。

2023-09-04 11:24:58 3095

原创《数据资产管理实践白皮书》5.0版 | 第6章数据资产管理总结与展望

当前，数据资产管理呈现蓬勃发展的态势，为数据要素市场的发展提供强劲动力，为数字经济发展奠定良好基础。在国家规划的大力推动下，在行业政策的有效指导下，我们期待数据资产管理将稳步前进，促进数据资产价值将进一步释放

2022-10-29 21:38:42 968 1

原创《数据资产管理实践白皮书》5.0版 | 第5章数据资产管理发展趋势

从信息时代到数字时代，数据由记录业务逐渐转变为智能决策，成为了组织持续发展的核心引擎。未来，数据资产管理将朝着统一化、专业化、敏捷化的方向发展，提高数据资产管理效率，主动赋能业务，推动数据资产安全有序流通，持续运营数据资产，充分发挥数据资产的经济价值和社会价值

2022-10-29 21:34:00 1339

原创《数据资产管理实践白皮书》5.0版 | 第4章数据资产管理实践步骤

本章定义了一种数据资产管理实践的通用步骤：“统筹规划→管理实施→稽核检查→资产运营”。需要说明的是，各步骤之间并无严格的先后顺序，组织可结合自身情况在各阶段制定合理的实施方案

2022-10-29 21:21:12 1202

原创《数据资产管理实践白皮书》5.0版 | 第3章数据资产管理保障措施

数据资产管理是一项长期性的、体系化的工作，为保证各项数据资产管理活动有效开展，统筹推动数据资产管理工作顺利进行，战略规划、组织架构、制度体系、平台工具、长效机制等保障措施变得极为重要

2022-10-29 20:55:44 866

原创《数据资产管理实践白皮书》5.0版 | 第2章数据资产管理活动职能

活动职能是数据资产管理的基本管理单元。数据资产管理包括数据模型管理、数据标准管理、数据质量管理等 10 个活动职能，覆盖数据资源化、数据资产化两个阶段。本章参考 PDCA 方法，从计划、执行、检查、改进四个环节着手，阐述数据资产管理活动职能的核心理念与实践要点.数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理、数据资产流通、数据价值评估、数据资产运营

2022-10-23 17:42:51 687

原创《数据资产管理实践白皮书》5.0版 | 第1章数据资产管理概述

随着数据的重要性日益显著，数据资产管理成为激发组织数据要素活力、加速数据价值释放的关键。本章首先从数据要素市场发展与企业数字化转型的视角出发，阐述数据资产管理的重要性，其次明确数据资产管理的概念与内涵，再次对数据资产管理演进进行梳理，最后总结了当前数据资产管理的主要难点

2022-10-18 13:24:32 740

原创《华为数据之道》-第10章未来已来：数据成为企业核心竞争力

数据成为企业的生产要素，将带来数据确权体系和数据市场基础设施建设的浪潮。大规模数据交互将构成庞大的企业数据生态，数据管理手段也将全面智能化。“物理世界”“人类认知世界”“数字世界”和“机器认知世界” 将构成全新的“智能世界”，数据将成为四个世界相互联接转换的枢纽，成为智能世界的支柱之一。数据治理将面临一系列全新的问题与挑战。未来已来，让我们共同努力，把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。

2022-10-06 10:07:56 796

原创《华为数据之道》-第9章打造“安全合规”的数据可控共享能力

数字技术正在构建一个全新世界。在数字时代这个大风暴中，数据的安全隐私管理无异于风暴之眼，纷乱的外部因素与企业自身特定的安全威胁正在共同影响着整体安全隐私态势，既要求企业可以减轻安全威胁，避免内外安全隐私风险带来的信誉损失和经济损失，又要求企业最大化利用数据、共享数据，面向大数据和机器学习，达成业务目标，发挥数据价值。所以数据保护和数据共享作为一对矛盾体，将不断引入新的理念。国际数据空间技术、“链条控制”转向“集中管控”、构建基于元数据管理的影响小、非介入式的公司级数据安全隐私保护平台，都会在数字时代不断演进

2022-10-05 22:34:56 718

原创《华为数据之道》-第8章打造“清洁数据”的质量综合管理能力

数据质量管理应成为企业持续、例行的工作，企业数据质量管理水平直接影响数据应用的效果和数字化转型的成效。华为数据质量管理框架由三个部分构成，包括自上而下打造数据质量领导力、全面推进数据质量持续改进机制、不断加强数据质量能力保障。通过制定数据质量政策，并依托公司变革体系和流程运营体系实现质量管控的落地，同时以多种方式在全公司营造质量氛围和文化。其中最重要的是建立了企业数据质量持续改进的机制，即基于质量管理的PDCA循环——数据质量策划、控制、度量和改进。最后通过组织、流程、IT三个方面的能力保障，使数据质量管理

2022-10-05 22:07:41 1178

原创《华为数据之道》-第7章打造“数字孪生”的数据全量感知能力

随着非数字原生企业数字化转型项目的推进，感知能力构建的最终对象逐渐从单一节点发展到获得完整物理对象的数字孪生。考虑到物理对象的维度和可能的数据量，构建一个全量感知的企业数字孪生的成本可能会相当惊人。所以一个成功的数字化转型项目要构建的感知规模一定要面向应用，由业务价值驱动。非数字原生企业不可能构建物理对象100%的镜像数字孪生，也完全没必要这么做。每个数字孪生实际上只是对象的最有业务价值的一个或几个方面的数字模型，我们只需利用适当的技术满足特定的业务目标，优化回报，分阶段利用感知获取的数据创造价值，同时最大

2022-10-05 21:28:32 948

原创 HDFS 上的 root 临时目录:/tmp/hive 应该是可写的.当前权限为:rwx---------(在 Linux 上)

本文介绍了HDFS 上的 root 临时目录:/tmp/hive 应该是可写的.当前权限为:rwx---------(在 Linux 上)的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

2022-10-05 13:03:00 815

原创《华为数据之道》-第6章面向“自助消费”的数据服务建设

数据底座建设的目标是更好地支撑数据消费，在完成数据的汇聚、整合、联接之后，还需要在供应侧确保用户更便捷、更安全地获取数据。一方面业务人员希望尽可能快速地获取各种所需的数据，另一方面要确保数据获取过程中满足安全、合规的要求。同时，业务人员消费数据时，也希望能够有更加灵活的使用数据、分析数据的方式，业务人员希望消费数据的自主性更强，并且不能忍受过去冗长、呆板的报表呈现方式。在数据供应侧和消费侧的双重推动下，华为公司进行了基于数据服务提供“自助消费”的实践，打造了从数据供应到消费的完整链

2022-10-03 17:03:02 554

原创《华为数据之道》-第5章面向“联接共享”的数据底座建设

企业数据治理的最终目的是让数据更有效地服务于业务目标，创造价值。对于数字原生企业而言，原生入口提供的大规模、高质量的数据，可以快速地封装成企业级的API，满足业务侧的应用。华为作为非数字原生企业，在实践探索中发现，数字化转型的关键在于打通数据供应链，通过理解业务、识别数据资产、建设数据架构来推动组织间的共享和协作，标识安全隐私标签，从源头提升数据质量，并通过数据底座建设构建数据湖和数据主题联接两层，形成数据的逻辑集合，为业务可视化、分析、决策等数据消费提供数据服务，让企业数据成为能为业务带来价值的数据资产

2022-10-03 14:36:18 697

原创书单推荐｜23本数字化转型好书，助企业赢在起跑线(案例书籍在最后)

什么是数字化转型呢？一千个人心中就有一千个哈姆雷特，对数字化转型的理解也是类似。数字化的关键是驱动企业从业务、架构、技术、组织等方面和系统的改造升级，在这个改造升级的过程中，会涉及数据治理、数字化转型架构的设计、数据中台的建设等方方面面。为了帮助大家更加系统地了解数字化转型的知识体系，今天为大家分享23本关于数字化转型的好书，一起来看下，并收藏起来吧！

2022-10-03 12:33:25 1975

原创《华为数据之道》-第4章面向“业务交易”的信息架构建设

华为过去的信息架构建设主要是为了实现“信息化”或“业务上ERP”，信息架构往往隐藏在系统中、隐藏在IT功能下。对于大部分业务作业人员和管理者而言，他们的关注点更多聚焦在“功能是否完善”或“业务是在系统中完成还是手工完成”上。此时，对信息架构的要求仅限于支撑好各类IT系统的落地，或在一定范围内对IT建设提供指导。随着企业数字化转型的推进，华为公司越来越认识到信息架构的价值并不应局限于“支撑IT建设落地”，而是更好地管理企业数据资产，更好地提升整个业务交易链条的效率，甚至基于信息架构重

2022-10-03 12:02:00 663

原创《华为数据之道》-第3章差异化的企业数据分类管理框架

不同的企业或组织基于不同的目的，可以从多个角度对数据进行分类，如结构化数据和非结构化数据、内部数据和外部数据、原始数据和衍生数据、明细数据和汇总数据等。华为在业界的数据分类基础上，结合自身多年的实践，已形成完整的数据分类管理框架。华为对数据进行分类的目的，是为了针对不同特性的数据采取不同的管理策略，以期实现最大的投入产出比。

2022-10-02 21:00:52 902

原创《华为数据之道》-第2章建立企业级数据综合治理体系

同时，在管理IT流程的设计规范中，明确界面的字段要遵从数据标准的定义，数据库表和字段的设计要承接信息架构的设计要求，从而达到数据治理融入IT实施流程的目标。支撑数据解决方案的角色为数据经理，数据经理统筹管理信息架构工程师、数据治理工程师、数据分析师和数据科学家，共同完成项目数据解决方案的交付和验证。数据治理政策是华为数据治理的顶层设计，该政策在华为公司EMT（经营管理团队）汇报通过后，由总裁签发，该政策明确了数据工作在华为公司治理体系中的地位，体现了公司管理层对数据工作重要性的统一认知。

2022-10-02 14:13:11 623

原创《华为数据之道》-第1章数据驱动的企业数字化转型

华为数据工作的目标为“清洁、透明、智慧数据，使能卓越运营和有效增长”。以传统的钢铁企业为例（如图1-1所示），完整工艺包括采矿、选矿、烧结、炼铁、炼钢、热轧、冷轧、硅钢等，辅助生产工艺包括焦化、制氧、燃气、自备电、动力等，在各个工艺流程中沉淀着大量的复杂数据。非数字原生企业在消费数据时对数据质量的要求也更高，一般会更聚焦于与业务流程相关的特定场景，更关注业务流程中问题的根因和偏差，数据挖掘、推理、人工智能都会聚焦于对业务的理解，面向业务去做定制化、精细化的算法管理，因此消费数据时的质量容错空间非常小。

2022-10-02 13:49:57 1410

原创《大数据之路：阿里巴巴大数据实践》-第4篇数据应用篇 -第16章数据应用

大数据建设与管理的方法论和实践，“生产要素”已经准备好，需要通过合适的方式提供给不同类型的用户，让数据最大化地发挥价值。阿里巴巴作为一家天然的大数据公司，对数据的应用表现在各个方面，如搜索、推荐、广告、金融、信用、保险、文娱、物流等业务。将数据提供给商家，可以用于指导商家的数据化运营，为商家提供多样化、普惠性的数据赋能；将数据提供给阿里巴巴内部的搜索、推荐、广告、金融等平台，可以用于实现更好的搜索体验、更精准的个性化推荐，优化购物体验，更精准地进行广告投放、更普惠的金融服务等；将数据提供给阿

2022-09-05 19:15:01 1179

原创《大数据之路：阿里巴巴大数据实践》-第3篇数据管理篇 -第15章数据质量

数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提。如何保障数据质量，确保数据可用性是阿里巴巴数据仓库建设不容忽视的环节。接下来将通过数据质量原则逐一展开介绍阿里巴巴对数据仓库数据质量建设的方法。

2022-09-05 18:58:31 746

原创《大数据之路：阿里巴巴大数据实践》-第3篇数据管理篇 -第14章存储和成本管理

在大数据时代，移动互联、社交网络、数据分析、云服务等应用迅速普及，对数据中心提出了革命性的需求，存储管理已经成为IT核心之一。对于数据爆炸式的增长，存储管理也将面临着一系列挑战。如何有效地降低存储资源的消耗，节省存储成本，将是存储管理孜孜追求的目标。本章主要从数据压缩、数据重分布、存储治理项优化、生命周期管理等的角度介绍存储管理优化

2022-09-05 15:25:42 554

原创《大数据之路：阿里巴巴大数据实践》-第3篇数据管理篇 -第13章计算管理

Hadoop等分布式计算系统评估资源的方式，一般是根据输入数据量进行静态评估，Map任务用于处理输入，对于普通的Map任务，评估一般符合预期；而对于Reduce任务，其输入来自于Map的输出，但一般只能根据Map任务的输入进行评估，经常和实际需要的资源数相差很大，所以在任务稳定的情况下，可以考虑基于任务的历史执行情况进行资源评估，即采用HBO （History-Based Optimizer,基于历史的优化器）。

2022-09-05 15:04:25 393

原创《大数据之路：阿里巴巴大数据实践》-第3篇数据管理篇 -第12章元数据

元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。将元数据按用途的不同分为两类：技术元数据(Technical Metadata) 和业务元数据(Business Metadata)。

2022-09-05 14:11:27 587

原创《大数据之路：阿里巴巴大数据实践》-第2篇数据模型篇 -第11章事实表设计

事实表有三种类型：事务事实表、周期快照事实表和累积快照事实表，具体内容后面章节会详细介绍。事务事实表用来描述业务过程，跟踪空间或时间上某点的度量事件，保存的是最原子的数据，也称为“原子事实表”。周期快照事实表以具有规律性的、可预见的时间间隔记录事实，时间间隔如每天、每月、每年等。累积快照事实表用来表述过程开始和结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点，当过程随着生命周期不断变化时，记录也会随着过程的变化而被修改。

2022-09-04 17:55:35 421

原创《大数据之路：阿里巴巴大数据实践》-第2篇数据模型篇 -第10章维度设计

维度是维度建模的基础和灵魂。在维度建模中，将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。维度所包含的表示维度的列，称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。维度的设计过程就是确定维度属性的过程，如何生成维度属性，以及所生成的维度属性的优劣，决定了维度使用的方便性，成为数据仓库易用性的关键。正如Kimball所说的，数据仓库的能力直接与维度属性的质量和深度成正比

2022-09-03 12:13:31 402

原创《大数据之路：阿里巴巴大数据实践》-第2篇数据模型篇 -第9章阿里巴巴数据整合及管理体系

OneData即是阿里巴巴内部进行数据整合及管理的方法体系和工具。阿里巴巴的大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系，我们构建了阿里巴巴的数据公共层，并可以帮助相似的大数据项目快速落地实现。下面重点介绍 OneData体系和实施方法论。

2022-09-03 10:55:46 537

原创《大数据之路：阿里巴巴大数据实践》-第2篇数据模型篇 -第8章大数据领域建模综述

数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于"什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”，其阐述了数据模型的重要性。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处。

2022-09-02 15:32:42 478

原创《大数据之路：阿里巴巴大数据实践》-第1篇数据技术篇 -第7章数据挖掘

数据挖掘技术与数据仓储及计算技术的发展是相辅相成的，没有数据基础设施的发展与分布式并行计算技术，就不会有深度学习，更不会见证AlphaG。的神奇。同样在阿里巴巴集团，得益于阿里云MaxCompute 云计算平台的发展，海量、高速、多变化、多终端的结构与非结构化数据得以存储并高效地计算。近年来，阿里巴巴数据挖掘应用也呈现出井喷式的增长态势。面向海量会员和商品的全局画像、基于自然人的全域 ID-Mapping,广告精准投放平台、千人千面的个性化搜索与推荐技术、非人流量与恶意设备的识别、商业竞争情报的自动

2022-09-02 15:17:09 399

原创《大数据之路：阿里巴巴大数据实践》-第1篇数据技术篇 -第6章数据服务

数据部门产出的海量数据，如何能方便高效地开放出去，是我们一直想要解决的难题。在没有数据服务的年代，数据开放的方式简单、粗暴，一般是直接将数据导出给对方。这种方式不仅低效，还带来了安全隐患等诸多问题。为此，我们在数据服务这个方向上不断探索和实践。最早的数据服务雏形诞生于2010年，至今已有7个年头。在这期间，随着我们对业务的理解不断加深，同时也得益于新技术的持续涌现，对数据服务架构也进行了多次升级改造。服务架构的每次升级，均在性能、稳定性、扩展性等方面有所提升，从而能更好地服务于用户。

2022-09-02 10:12:07 518

原创《大数据之路：阿里巴巴大数据实践》-第1篇数据技术篇 -第5章实时技术

在前台实时直播的数据，实际上是阿里实时计算系统在承载。直播大屏对数据有着非常高的精度要求，同时面临着高吞吐量、低延时、零差错、高稳定等多方面的挑战。在“双11”的24小时中，支付峰值高达12万笔/秒，下单峰值达17.5万笔/秒，处理的总数据量高达百亿，并且所有数据是实时对外披露的，所以数据的实时计算不能出现任何差错。除此之外，所有的代码和计算逻辑都需要封存，并随时准备面对监管机构的问询和检查。;除面向媒体的数据大屏外，还有面向商家端的数据大屏、面向阿里巴巴内部业务运营的数据大屏。整个大屏直播功

2022-09-02 09:28:17 386

原创《大数据之路：阿里巴巴大数据实践》-第1篇数据技术篇 -第4章离线数据开发

从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的。面对海量的数据和复杂的计算，阿里巴巴的数据计算层包括两大体系：数据存储及计算平台(离线计算平台 MaxCompute和实时计算平台StreamCompute)、数据整合及管理体系 (OneData)。本章主要介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。.

2022-09-01 16:07:47 405

原创《大数据之路：阿里巴巴大数据实践》-第1篇数据技术篇 -第3章数据同步

我们将数据釆集分为日志采集和数据库数据同步两部分。数据同步技术更通用的含义是不同系统间的数据流转，有多种不同的应用场景。主数据库与备份数据库之间的数据备份，以及主系统与子系统之间的数据更新，属于同类型不同集群数据库之间的数据同步。另外，还有不同地域、不同数据库类型之间的数据传输交换，比如分布式业务系统与数据仓库系统之间的数据同步。对于大数据系统来说，包含数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据服务或数据应用两个方面。本章侧重讲解数据从业务系统同步进入数据仓库这个环节，但其适

2022-09-01 15:01:53 824

原创《大数据之路：阿里巴巴大数据实践》-第1篇数据技术篇 -第2章日志采集

数据采集作为阿里大数据系统体系的第一环尤为重要。因此阿里巴巴建立了一套标准的数据釆集体系方案，致力全面、高性能、规范地完成海量数据的釆集，并将其传输到大数据平台。本章主要介绍数据采集中的日志釆集部分。阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志釆集技术方案；UserTrack是APP端（无线客户端）日志釆集技术方案。本章从浏览器的页面日志采集、无线客户端的日志釆集以及我们遇到的日志采集挑战三块内容来阐述阿里巴巴的日志采集经验.

2022-09-01 14:22:17 448

原创《大数据之路：阿里巴巴大数据实践》-第1章总述

;如何建设高效的数据模型和体系，使数据易用，避免重复建设和数据不一致性，保证数据的规范性；如何提供高效易用的数据开发工具；如何做好数据质量保障；如何有效管理和控制日益增长的存储和计算消耗，如何保证数据服务的稳定，保证其性能，如何设计有效的数据产品高效赋能于外部客户和内部员工……这些都给大数据系统的建设提出了更多复杂的要求............

2022-09-01 13:20:45 825