数字化时代下，新IT人的转型之路

技术领域每隔几年就会出现一堆新的概念，概念刚出的时候都有一个非常清晰的锚点，在某个层面提出更优的解决办法。数据领域也不例外，从最早的数据库、数据仓库、数据集市、到数据湖、湖仓一体、数据中台、以及最近出镜率较高的DataMesh、Data Fabric。我们需要从变化中找到一些不变的东西，最底层的逻辑是企业越来越重视数据，希望通过数据挖掘价值，在这个过程中，范围逐步扩大：数据不再是部门级别的专享福利，而应该辐射到全企业；方式逐步增多：以固定报表为始，自助式分析、机器学习等多元化方式逐步加入。

为什么是ELT，而不是ETL？

Airbyte、dbt的成功除了在产品层面解决了用户的实际痛点外，还有时势造英雄。国外对云的拥抱程度更高，可以依托云外延打造更立体的服务，而国内对云大部分是为了替换IDC服务器（Iaas层+中间件Paas），对Saas的软件层面更喜欢定制。所以工具类Saas产品在国外的生态会更好。

大数据技术扫盲系列，数据湖概念辨析

大数据多租户方案设计

解读开源大数据热力报告，看大数据技术发展

一文看懂Scrum，辨析迭代和增量

你真的理解敏捷吗？如何看敏捷过程中的变更冲突？

前面搞清楚了EA（企业架构）和EAF（企业架构框架）的关系和发展，同时对几个主流的EAF做了简单的总结，本篇正式开启TOGAF的学习，对TOGAF标准指引结构、关键概念、ADM核心流程做一个简单介绍。

阐述企业架构企业架构框架的关系 从形式上二者的差异：企业架构是结果，企业架构框架是工具，用于产生这个结果。从发展上二者的关系：是一个抛问题解问题、相互促进发展的过程。

一句话概括TOGAF，TOGAF是一个企业架构框架，提供一系列的流程、工具，用于开发、使用和维护企业架构。

人就是一个函数，准确的输出已经是最低标准，现在PK的是谁的收敛速度快，谁的稳定性更好，谁的适应场景更多。

企业数字化转型，除了要关心业务的数字化转型以外，我们的管理流程也要数字化，尤其是技术组织内对研发的管理度量，需要从经验主义切换到以数据说话，通过数字化的手段和灵活、契合实际情况的指标设计来充分挖掘技术组织的价值。

技术管理的本质目的是：让技术团队的工作价值产出最大化。短短的一句话，需要布局者关注三个核心要点，技术团队的工作有哪些？价值产出点在哪里？如何最大化？接下来让我们逐步拆解这三个核心问题。

在之前的文章中《关于能力模型的思考 | 技术从业人员》中提到了道、法、术、器的能力模型，有小伙伴在问，大数据从业人员到底需要哪些技能？为什么搞大数据的最后变成了Sqlboy或Sqlgirl？搞大数据的每天到底在干什么？今天，我们就来一一回答下，并总结出在当下大数据从业人员需要会哪些技能。

导读 数据集成的概念，与主要挑战。 CDC技术详解：概念、主流解决方案、以及两个技术流派。 实时增量数据集成的主要开源技术：canal、maxwell、Debezium、FlinkCDC、FlinkX的主要特点，并详细介绍了canal的架构。 离线数据集成的主要开源技术：Sqoop、DataX。 数据集成企业信息化建设中，有一个板块是企业应用集成，根据集成深度的不同，可以分为界面集成、数据集成、控制集成、业务流程集成。其中界面集成是指统一入口，使分散的系统..

软件开发方法净室方法净室工程是软件开发的一种形式化方法，可以生成高质量的软件，主要强调模型的重要性，其目标和结果是非常高低的出错率，这是使用非形式化方法难以实现或者不能达到的。高度严谨，可以通过数据模型证明，偏向于理论的研究方法，模型生成软件等。结构化方法结构化方法是一种面向数据流的开发方法，由结构化分析、结构化设计、结构化程序设计构成。指导思想：自顶而下，逐步分解。基本原则：功能的分解和抽象。不适合解决大规模、特别复杂的项目，且难以适应需求的变化。系统开发过程工程化

大数据与现有的科技手段结合，对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业，在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战？目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。大数据处理的挑战关键词：持续聚合、分析时序数据现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合 VaR(value at risk) 或者机器

技术层面3A+1E：Authentication 认证，Authorization 鉴权，和Audit 审计；Encrption 加密hive身份认证的三种方式 NONE：即不做身份校验； LDAP: 使用基于 LDAP/AD 的用户身份校验； KERBEROS: 使用 Kerberos/GSSAPI 做身份校验； hive.server2.authentication = none 不做任何校验，登陆时可以不配置用户名密码，在服务端hive会显示匿名...

一文讲透SparkSQL Join