ylguoguo6666的博客

入坑阶段（学习入门）：这个阶段一般就是小白，想学习SQL语言，然后到处找软件，找免费破解版找半天，找到了半天安装不下来，还可能把自己电脑搞中毒。其实对于小白来说，不太建议直接下载软件工具。入坑阶段，就一个任务：掌握SQL语法——重点是是练习。大家直接去SQL的刷题网站，比如：牛课、力扣等，不用自己搭建环境，直接在网站的SQL编辑框答题。

其他还有很多技术数据人，数量不大，甚至没有专门的岗位，但是通常也负责数据相关的重要工作，如数据架构师（通常由系统架构师兼任），数据产品经理，数据管理、治理及标准管理的相关岗位，数据测试、质量管理相关的岗位，数据采集、外部数据采购相关的岗位，数据安全相关的岗位等等。业务数据人和技术数据人这个群体，说大不大，说小也不小，他们并非银行原来固有的岗位，而是随着银行对于数据应用和决策的愈发重视而逐步形成的岗位，大部分数据人都有自己的本职工作，在繁忙的业务或开发间隙，兼任数据提取和分析的工作。

近几年，随着元数据联盟MDC（Meta Data Coalition）的开放信息模型OIM（Open Information Model）和OMG组织的公共仓库模型CWM（Common Warehouse Model）标准的逐渐完善，以及MDC和OMG组织的合并，为数据仓库厂商提供了统一的标准，从而为元数据管理铺平了道路。实体差异分析是对元数据的不同实体进行检查，用图形和表格的形式展现它们之间的差异，包括名字、属性及数据血缘和对系统其他部分影响的差异等,在数据系统中存在许多类似的实体。

未来五年，高质量发展是中国企业的首要任务，我们希望更多企业能够锚定航向，追求多维使命，在达成自我革新的同时，助力建设现代化产业体系和中国经济的新动能。在当下多变的市场环境中，打造供应链韧性、提升生产率和发展人才队伍等多重考验叠加，企业需坚持创新作为第一动力，保持业务专注，持续进行数字化和创新投入，让未来转型之路行稳致远。善用新兴技术和员工团队。在企业打造韧性供应链的过程中，结合分析技术和人工智能，针对关键产品线、客户、供应商，以及关键时刻和环节，打造可视化能力，为预判潜在风险并最终采取自主行动打下基础。

今天，每秒都在生成 TB 和 PB 的数据，为这些海量数据集寻找存储解决方案至关重要。复杂的机器和技术现在收集了令人难以置信的广泛数据——每天超过 2.5 万亿字节！— 来自设备传感器、日志、用户、消费者和其他地方。数据存储并不像以前看起来那么简单。在管理和存储数据时，数据管理者需要考虑使用数据湖或数据仓库作为存储库。随着数据量、速度和种类的增加，选择合适的数据平台来管理数据从未像现在这样重要。它应该是迄今为止满足我们需求的古老数据仓库，还是应该是承诺支持任何类型工作负载的任何类型数据的数据湖？

近年来大家可能都有这样一种感受：与编程语言市场不同，数据库市场的竞争激烈异常——一线的在停滞甚至下坠，二线的正在反超。有种种迹象表明：MySQL 这个流行榜上的榜一大哥，正在逐渐淡出专业开发者的视野。再见 MySQL，可能不再只是一个哗众取宠的梗了！麦聪软件，全球领先的 DaaS 厂商，轻量级数据中台领导者。世界 500 强集团中已有 30 多家选用，帮助 400 多家加速企业数字化转型。

所以，数据集市就像宜家楼上的展厅，正如其名字“集市”一样，是一个面向最终用户（顾客）的数据市场，在这里，数据（家具）以一种更加容易被业务人员（顾客）接受的方式组合在一起，这些组合方式可能是多变的，因为业务人员（顾客）的需求是多变的，因此我们需要定期调整集市的计算口径（展厅的陈列方式），经常会创建新的数据集市（装修新的展厅）。于是我们有了右上角的目标状态。广义的数据中台，则在狭义的数据中台基础之上，包含了顶层数据战略，数据治理体系以及数据管理及运营、数据文化培养和组织架构支撑，是一套持续管理和运营的体系。

存储静态数据以进行报告和分析与为实时工作负载持续处理动态数据相比，需要不同的功能和 SLA。存在许多开源框架、商业产品和 SaaS 云服务。不幸的是，底层技术经常被误解，过度使用于单一和不灵活的架构，并被供应商推向错误的用例。

往往是“理想是丰满的，现实是骨感的”。要防止数据湖变为数据沼泽，就需要将数据碎片分门别类，将不可洞察的数据和无关数据归类为数据噪声，留下可洞察的数据和相关的数据，我们称之为“信息元”。从数据的作用及管理的方式上来讲，我们把数据分为四个层次：元数据、主数据、参考数据、一般数据（交易数据），如图3所示。对于数据管理的职能，DAMA将其归为十一大类：数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文件和内容管理、参考数据和主数据、数据仓库和商务智能、元数据、数据质量，如图1所示。

最近几年数据技术发展迅速，很多新概念爬上了Gartner曲线，比如数据湖、数据网格、数据编织啥的，这些概念中的很多是舶来品，理解起来不易，但我们有时也不得不去理解，一方面是技术决策的需要，另一方面是来自于解释的需要，否则容易被人带偏。这次特意挑了数据网格、数据编织、湖仓一体、存算分离、DataOps等20个数据领域比较前沿的、抽象的概念来挑战，希望尽量能用一句话解释清楚，后来发现实在讲不清楚，因此还是做了一些备注，文后列了参考文献。

正是由于数据湖非常擅长处理各种实时摄取的数据流，因此它的一个典型用例是：以批处理的方式，启用自助服务式（self-service）的ELT，并对数据进行自动化的处理、调度、构建、以及维护各个数据管道的复杂性。而Snowflake则通过各种预构建的工具，处理生产环境中的数据，以供后期分析使用。通过Databricks的Delta Lake和Delta Engine平台，开发者虽然基本可以实现由Snowflake提供的所有功能，但是鉴于它是一个复杂的工具，开发者仍然需要花时间去优化和构建功能齐全的湖仓一体化。

数据科技领域人才的确还存在巨大的稀缺性。

数据湖定义将其解释为高度可扩展的数据存储区域，以原始格式存储大量原始数据，直到需要使用为止。数据湖可以存储所有类型的数据，对帐户大小或文件没有固定限制，也没有定义特定用途。数据来自不同的来源，可以是结构化的、半结构化的，甚至是非结构化的，数据可按需查询。数据湖的核心概念是允许收集和存储大量数据而无需立即处理或分析所有数据。

职场老鸟本来想给新来的数据工程师出个难题，结果被勇于发现创新、不想重复造轮子的新人给上了一课，这到底是怎么回事呢？

现在很多人把汇聚全域数据作为数据中台与数据仓库的区别，显然没有抓住本质的东西，其实只有更多的前端业务需要数据仓库提供数据服务，才能驱动数据仓库去真正的汇聚全域数据，否则领导关注的KPI指标就那几个，汇聚全域数据对于这些KPI指标来说，其实没有那么高的价值。数据仓库刚起步的时候，目的是融合整个企业的全部数据，打通数据之间的隔阂，消除数据标准和口径不一致问题，从而做好决策支持，表现形式一般是报表和指标，BI是其升级版本，从本质的角度来讲，数据仓库是面向业务主题的，其符合数据中台的标准（1），即为业务服务。...

最后可能要问各位企业高管的是，如果你真的拥有一个完美的数据中台满足您所有的技术期待，您企业员工的数据素养跟上了么？

近日，一位前谷歌、前亚马逊的工程师根据自己的测试数据宣称，他开发的系统远超鼎鼎大名的Redis，此举招来Redis团队的怦然回击：总有人想替Redis换套新架构。此举也吸引来众多开源技术人员的关注和议论。事情的起因是这样，这位前谷歌、前亚马逊的工程师，创作了一款开源内存数据缓存系统 Dragonfly，用 C/C++ 编写，基于 BSL 许可（Business Source License）分发。这款新系统提供了对 Memcached 和 Redis 协议的支持，但能够以更高的性能进行查询，运行时内存

Redshift提供了良好的查询性能，这得益于高带宽连接、由于全球众多的AWS数据中心而靠近用户，以及定制的通信协议。但与AWS不同的是，它的安全功能是分层的，每一层的成本更高。Snowflake的定价更加复杂，有五个不同的版本，从基本版本开始价格会随着您的升级而上涨。最终，由用户通过检查他们的工作负载的适用性来确定，权衡这两种数据平台中的哪一种更适合他们的数据模式。一些用户表示，Redshift的按需定价成本更低，而大型数据集在Snowflake上的成本更高，因为它的计算和存储定价是分开的。...

Snowflake和Databricks都是用于分析目的的优秀数据平台。每个都有其优点和缺点。为您的业务选择最佳平台，需要从使用模式、数据量、工作负载和数据策略等方面综合评定。Snowflake更适合标准的数据转换和分析以及那些熟悉SQL的用户。Databricks更适合流式传输、机器学习、人工智能和数据科学工作负载，这得益于其支持使用多种语言的Spark引擎。Snowflake一直在语言上补课，最近增加了对Python、Java和Scala的支持。。麦聪DaaS平台支持httpshttps。.......

本地有本地部署和私有云、公有云等混合云架构的数据库。数据库类型包含供应商的Oracle数据库、微软的MSSQL和IBM、MySQL的数据平台，及Hadoop集群。现在可以由业务线人员在平台上简单设置后直接生成数据下载任务，将原来以天为单位的工作量变成分钟级，大大提高公司自助化运用数据的能力。在使用麦聪DaaS平台后，只需要一分钟即可生成一个数据API服务接口，能高效稳定地支持用户每月超过十万次的访问和使用。而且麦聪DaaS平台还能无缝集成所有主流厂商的数据平台，并且支持全局的权限管理，让数据更加安全。...

由于容器的技术，在应用端的运维变得简单，但是日益增长的应用会给数据库带来更大的压力，而由于服务器上I/O的弹性不如计算能力，所以数据库的弹性和运维压力会增加。在2012年之前，数据库虽然重要；一是数据库市场比较成熟，基本上就三大成熟的商业数据库可选，功能也都还比较完备，无论选哪一个对企业来讲风险都不是很大，运维团队也能承接的过来，更多的是考虑成本、性能和高级功能的平衡。相对于商业套件，SaaS在一个细分的业务场景里提供了更多的应用的选择，但是在SaaS的产品中，企业是不需要考虑数据库的选型。...

BigQuery和Snowflake都提供了丰富的数据分析功能，旨在将企业数据服务提升到更高的水平。但是哪个数据平台更适合你的业务？本文将从8个角度逐一对比。

从全球顶尖外企到国内大厂，我也见证了很多出色员工的不断晋升，从他们身上总结了7个共性特征，今天分享给大家。

B站在19年9月份从Tengine迁移到了OpenResty，基于其丰富的Lua能力开发了一个服务发现模块，从我们自研的注册中心同步服务注册信息到Nginx共享内存中，SLB在请求转发时，通过Lua从共享内存中选择节点处理请求，用到了OpenResty的lua-resty-balancer模块。SLB两周前优化了Nginx在balance_by_lua阶段的重试逻辑，避免请求重试时请求到上一次的不可用节点，此处有一个最多10次的循环逻辑，怀疑此处有性能热点，尝试回滚后重启SLB，未恢复。...

导读INTRODUCTION数字化并不只是新技术的应用，在2021年中国5G+工业互联网大会上，华新水泥李叶青总裁演讲中提到，“数字化转型的核心思路，是以工业互联网(IT和OT的融合)为基础，以工业智能、商业智能和管理智能为抓手，坚持自主掌控，长期高效地推进数字化转型，提升企业竞争力，赋能企业创新发展”。可以理解为数字化转型是新一代信息技术驱动下的一场业务、管理和商业模式的深度变革重构，技术是支点，业务才是内核。文章来源作者：史晓海，华新水泥是一家具有百年历史的跨国建材集团企业，属于典型的传统行业，在二十年

有读者问了一个问题：“公司集群机器下线，数据仓库如何应对资源不足，导致核心任务一直延迟的问题？” 这种故障很常见，今天就来讲讲一般的解决套路，一共9招，按着顺序去做吧。

数据架构师在业务环境中进行监督，他们将业务需求转化为技术需求，并为业务提供适当的原则和标准。他负责设计和可视化企业数据框架和管理。因此，该框架解释了计划中的流程，指定、允许、开发、获取、管理、使用、维护、检索、清除和归档数据。他提供标准的业务报表、流程战略需求，表达实现需求的高级集成框架。他与与业务架构相关的分析观点保持一致。数据架构师的角色是开发安全且可访问的复杂数据库系统。它有助于定义数据库的整个使用，并开发一个框架来构建、测试和管理数据库。数据架构师也称为 IT 专家，其职责是配置策略以存储和访问数据

最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。受限于个人水平，谬误在所难免，欢迎同学们一起探讨，批评指正，不吝赐教。一、什么是数据湖？数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但是在计划构建数据湖之前，搞清楚什么是数

数据治理很难，以下是我基于实践总结的21条策略，希望于你有所启示。策略一：数据治理能否成功很大程度取决于领导的级别，CFO，CMO，CIO都在维护各自专业领域的利益，但鲜有CDO。因此，不要看公司怎么说，得看它怎么做，凡是要干大事的，组织和领导的调整都是第一步策略二：大多领导并不清楚数据治理的内涵，因此普及工作任重而道远，如果你的企业有一位，那是中大奖了，如果别的企业数据治理做的很好，也别急着学什么成功经验，先看下各家领导的级别和水平，也就是背景调查策略三：领导能对着业务部门直接下达数据治理要求，每次都能亲

数据湖指的是一个中心位置，大量数据以原始的、非结构化的格式存储，其中包含有关数据和惟一标识符的信息。它们存储的数据可以稍后进行处理，以提取有价值的业务见解并推动业务向前发展。这种类型的灵活组织允许存储结构化和半结构化数据，而无需担心被锁定在数据仓库等专有系统中。虽然数据湖需要专家的眼光来有效地管理和处理数据，但这最终会更加持久和划算。 如何打造数据湖？如果你想为自己的企业建立一个数据湖，你需要考虑以下步骤：1.选择灵活的云存储解决方案：您可以在Amazon Web Services和Microsoft Az

上期我们讲到了麦聪DaaS平台环境配置和软件实施部署。系统安装成功后，可以登陆麦聪数据即服务平台快速进行初始数据源配置，开发第一个数据API服务以及消费数据API服务。本期我们从实际操作角度教你快速使用麦聪数据即服务软件。01.配置数据源通过系统的设置和配置将数据库的连接信息写入程序中,在程序需要从数据库中提取或存放数据时能够找到数据库的位置,其中数据库的连接就是建立前台和数据库的连接,而数据源的配置就是告诉程序数据库在什么地方,是以什么形式存放。详细操作请参考：http://www.maicongs