LEESOOHYUK的博客

原创 喜报：项目验收季之陕西融通军民服务社会议室大屏系统项目建设顺利通过竣工验收

具体为包含LED显示屏、LED控制器、视频会议终端、视频会议摄像头、钢架结构、配电箱、施工及辅材等设备采购、安装、系统集成、培训、质保等的相关建设和服务。该项目建设既是达之云公司携手服务社数字大屏系统建设之后又一次深度合作，也是公司大屏硬件项目建设的一个典范，形成了软件件相结合的整体项目建设及应用效果。由达之云承建的陕西融通军民服务社会议室大屏系统项目建设日前完满完成各项建设任务，建设成果达到预期项目建设目标，并于9月19日顺利通过项目竣工验收。

原创 达之云BI平台助力中国融通集团陕西军民服务社有限公司实现数字化运营

继续深耕大型商业综合体行业，力求通过先进的方案和完善的服务全方位助力零售企业打造起符合行业发展与时代诉求的大数据应用效果，推动零售企业数智化变革的进程，协助客户实现价值增长，助推国内零售业全面数智能化进程。中国融通集团陕西军民服务社是一家大型综合类零售购物中心，公司目前管理系统运行了10年左右，面临系统新零售支持发展严重滞后，行业主流应用落地困难，如线上业务、到家业务、全渠道营销、电子发票、自助收银、扫码购、无感停车、未来营区保障涉及的自助售货机、无人超市、伴随式野战超市等业务现都无法直接实现。

原创 达之云牵手杭州数梦联合启动智慧矿业大数据服务项目

达之云牵手杭州数梦联合启动智慧矿业大数据服务项目。达之云牵手杭州数梦联合启动智慧矿业大数据服务项目。达之云牵手杭州数梦联合启动智慧矿业大数据服务项目。达之云牵手杭州数梦联合启动智慧矿业大数据服务项目。达之云牵手杭州数梦联合启动智慧矿业大数据服务项目。

原创 发挥现代数据栈MDS的更大价值

发挥现代数据栈MDS的更大价值。发挥现代数据栈MDS的更大价值。发挥现代数据栈MDS的更大价值。发挥现代数据栈MDS的更大价值。

原创 你想知道的关于现代数据栈MDS的所有内容

你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。你想知道的关于现代数据栈MDS的所有内容。

原创 DBT构建和部署机器学习模型预测订单退货

DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。DBT构建和部署机器学习模型预测订单退货。

原创 ETL 与 ELT：解开关键区别

ETL 与 ELT：解开关键区别。ETL 与 ELT：解开关键区别。ETL 与 ELT：解开关键区别。ETL 与 ELT：解开关键区别。ETL 与 ELT：解开关键区别。ETL 与 ELT：解开关键区别。ETL 与 ELT：解开关键区别。

原创 数据工程：ELT 工作流中的 6 个步骤

数据工程：ELT 工作流中的 6 个步骤。数据工程：ELT 工作流中的 6 个步骤。数据工程：ELT 工作流中的 6 个步骤。数据工程：ELT 工作流中的 6 个步骤。数据工程：ELT 工作流中的 6 个步骤。数据工程：ELT 工作流中的 6 个步骤。数据工程：ELT 工作流中的 6 个步骤。

原创 Airbyte是如何避免ELT中数据提取加载错误

Airbyte是如何避免ELT中数据提取加载错误。Airbyte是如何避免ELT中数据提取加载错误。Airbyte是如何避免ELT中数据提取加载错误。Airbyte是如何避免ELT中数据提取加载错误。

原创 自助式分析是数据组织的一种状态

自助式分析是数据组织的一种状态。自助式分析是数据组织的一种状态。自助式分析是数据组织的一种状态。自助式分析是数据组织的一种状态。自助式分析是数据组织的一种状态。自助式分析是数据组织的一种状态。自助式分析是数据组织的一种状态。

原创 现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单

现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单。现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单。现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单。现代数据栈MDS应用落地介绍—MozartData数据驱动从未如此简单。

原创 现代数据栈MDS应用落地介绍—Vero营销自动化平台

现代数据栈MDS应用落地介绍—Vero营销自动化平台。现代数据栈MDS应用落地介绍—Vero营销自动化平台。现代数据栈MDS应用落地介绍—Vero营销自动化平台。现代数据栈MDS应用落地介绍—Vero营销自动化平台。

原创 现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务

现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务。现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务。现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务。现代数据栈MDS应用落地介绍—Bloom AI数据交付平台，实时AI驱动业务。

原创 现代数据栈MDS应用落地介绍—ActionIQ智能营销系统

现代数据栈MDS应用落地介绍—ActionIQ智能营销系统。现代数据栈MDS应用落地介绍—ActionIQ智能营销系统。现代数据栈MDS应用落地介绍—ActionIQ智能营销系统。现代数据栈MDS应用落地介绍—ActionIQ智能营销系统。现代数据栈MDS应用落地介绍—ActionIQ智能营销系统。现代数据栈MDS应用落地介绍—ActionIQ智能营销系统。

原创 现代数据栈MDS应用落地介绍—Clearbit营销数据激活平台

现代数据栈MDS应用落地介绍—Clearbit营销数据激活平台。现代数据栈MDS应用落地介绍—Clearbit营销数据激活平台。现代数据栈MDS应用落地介绍—Clearbit营销数据激活平台。

原创 现代数据栈MDS应用落地介绍—DataChannel数字营销分析

现代数据栈MDS应用落地介绍—DataChannel数字营销分析。现代数据栈MDS应用落地介绍—DataChannel数字营销分析。现代数据栈MDS应用落地介绍—DataChannel数字营销分析。

原创 DBT项目结构

DBT项目结构DBT项目结构DBT项目结构。

原创 现代数据栈MDS兴起

现代数据栈MDS兴起。现代数据栈MDS兴起。现代数据栈MDS兴起。现代数据栈MDS兴起。现代数据栈MDS兴起。

原创 DBT是什么

原创 现代数据栈MDS的主要特征

原创 现代数据堆栈MDS有什么现代之处

设计一个好的MDS，让你的员工做他们的工作，回报将是无价的。为了保持竞争优势，组织需要能够在正确的时间采取行动的数据，并且足够灵活地适应变化。随着网络安全威胁、负责任的 AI 以及数据法规的增加，在没有考虑数据治理的情况下构建的系统是每个 CIO 的噩梦。需要注意的重要一点是，尽管没有任何奶油，但最终结果是你仍然有一个可以吃的蛋糕。例如，Metabase是一个可视化工具，不需要SQL知识来构建，也不需要BI专家的帮助来使用。这种方法的问题在于，MDS 现在是围绕工具构建的，而不是为用户构建的。

原创 Metabase和FineBI比较

Metabase是一款基于Clojure编写的自助式数据分析和可视化工具，它与FineBI相比具有以下优势。第一，Metabase是一款开源的工具，用户可以免费下载并使用。与FineBI相比，Metabase的使用成本更低，这为中小型企业以及个人用户提供了更多的选择。第二，FineBI提供了丰富的数据可视化方式。Metabase只支持基础的可视化图表类型，包括条形图、折线图、饼图、散点图等，同时可以在图表中添加筛选器、颜色映射和标记等功能。这些功能可以帮助用户更好地理解和分析数据，并生成丰富的

原创 Metabase和Tableau、QlikView差异

商业智能（BI）是一种通过将数据转化为可视化信息来帮助企业做出决策的技术。在当今数据爆炸的时代，BI工具已经成为了企业管理决策的重要组成部分。在众多商业智能工具中，Metabase 是一种备受关注的免费开源工具。Metabase 是一个非常直观和易于使用的工具，它可以通过直接查询来获得实时数据，而无需编写 SQL 或其他编程代码。此外，它还提供了内置的智能分析功能，可以帮助用户快速理解数据，并生成相应的图表和可视化数据。Metabase 支持多种数据源，包括 MySQL、PostgreSQL、Oracl

原创 配置Airbyte资源限制

资源限制有三种不同的级别配置：Instance-wide- 应用到Airbyte实例创建的Sync Job的所有容器上。Connector-specific- 应用到Airbyte实例创建的Sync Job的所有指定类型连接器的容器上Connection-specific- 应用到Airbyte实例创建的Sync Job的所有指定管道的容器上按优先级递减顺序：Connection-specific- 最高优先级。一旦指定特定管道的配置，则忽略所有其他配置。Connector-

原创 配置 AIRBYTE 工作数据库

Airbyte 使用不同的对象来存储内部状态和元数据。数据是由各种 Airbyte 组件存储和操作，但您可以通过以下两种方式管理数据库的部署使用默认的 postgres 数据库，它已经写到 docker-compose.yml 中，即 docker-compose.yml 中的 airbyte/db 服务。使用单独的 postgres 实例（这种情况下 airbyte/db 就不再被使用，您可以将它从您的 docker-compose.yml 中移除。）。将数据库部署到 docker 和 k8s 中

原创 Docker部署Airbyte

Linux环境部署前置要求机器配置2c4g(最低)，4c8g（推荐）dockerdocker-compose（要求新版本的docker-compose）安装airbyte,打开终端，进入你想安装airbyte的目录。#Clone代码 git clonehttps://github.com/airbytehq/airbyte.git#进入airbyte目录 cd airbyte #修改环境变量。这里可以修改登录用户（BASIC_AUTH_USERNAME）和密码（BASIC_AUTH_P

原创 Airbyte API

Airbyte API涵盖了Airbyte功能的方方面面，主要分类：Source_definition：来源定义，实现了来源的增删改查功能。Destination_definition：目标定义，实现了目标的增删改查功能。Workspace：工作区管理，实现了工作区的创建、删除等功能。Source：来源管理，实现了来源连接建立等功能。Destination：目标管理，实现了来源连接建立等功能。Connection：管道管理，实现了管道的创建、删除等功能。Oauth：权限管理，实现来源目标的授

原创 Airbyte的同步复制模式

ELT 哲学的核心原则，即数据在提取和加载阶段移动时应保持不变，以便始终可以在目标中访问原始数据。由于目标中存在数据的未修改版本，因此将来可以重新转换该版本，而无需从源系统重新同步数据。基于此哲学，我们看看Airbyte提供的数据同步模式和相关概念：同步运行Airbyte 复制可以被认为是一个循环，它定期从数据源请求记录并将其发送到目的地。此循环的每次迭代称为同步运行。什么是游标在增量复制的上下文中，可以将游标视为指向源数据集的指针，该指针用于跟踪从该源发送到目标的最新记录。它用于确

原创 Airbyte架构

作为一款技术复杂的数据集成管道，Airbyte的架构模式非常清晰明了。UI：一个易于使用的图形界面，用于与Airbyte API进行交互。WebApp Server：处理 UI 和 API 之间的连接。Config Store：存储所有连接信息（凭据、频率等）。Scheduler Store：存储调度程序簿记的状态和作业信息。Config API：Airbyte 的主控制平面。Airbyte 中的所有操作，例如创建源、目标、连接、管理配置等。从 API 配置和调用。Sch

原创 Airbyte入门

Airbyte 后端技术栈Java 17框架：JerseyAPI：OAS3数据库：PostgreSQL单元和E2E测试：JUnit 5编排：Temporal连接器技术栈连接器可以用任何语言编写。但是，最常见的语言是：Python3.9.0Java 17前端技术栈Node.js 16TypeScriptWeb 框架/库：React部署部署Airbyte开源只需要两个步骤。在您的工作站上安装 Docker。确保您使用的是最新版本的 .docker-compose在终端中运行

原创 Airbyte支持的数据源类型

Airbyte支持的数据源类型丰富，全部类型详见官网。1、 支持的数据库/仓/湖MSSQL - SQL Server、MySQL、PostgreSQL、AlloyDB for PostgreSQL、Apache Doris、Apache Iceberg、Apache Kafka、ClickHouse、CockroachDB、Convex.dev、DuckDB、DynamoDB、Elasticsearch、Fauna、Firebase、Google Pubsub、IBM Db2、Microsoft Dat

原创 开源软件AirByte：入湖入仓，数据集成管道

从ETL到ELT就传统的 ETL而言，当我们开始构建数据仓库时，都要先去了解业务流程，明晰业务是如何运转的，数据是如何留痕的。通过收集用户的相关需求，从而去规划设计报表。企业需要进行数仓分域、分层、逻辑建模等一系列操作，完成这些后才会去数据仓库中建表。在这之后，企业就需要进行 ETL 操作了，由于多数数仓仅接受 SQL 的关系数据结构，因此，企业需要将不符合要求的数据转换为基于 SQL 的数据。这种方式在有限内存和处理能力的本地数据库中普遍存在。我们不难发现 ETL 的问题，主要是流程长和笨重。

原创 Python技术栈专业大数据处理首选，中国自然资源航空物探遥感中心青睐达之云

日前，中国自然资源航空物探遥感中心和达之云签订合同，采用达之云产品应用于航空物探遥感大数据处理。达之云产品的最前沿Python技术栈，强大的自定义低代码功能、和极易上手的二次开发能力成为专业大数据处理的首选。国家队对达之云的认可也体现了Python技术栈在专业数据处理的领域的无可替代的优势。

原创 Metabase学习教程：权限-5

审核用户和数据Metabase的审核工具是监视和遵从性的一个基本特性，但它们也可以帮助您充分利用Metabase实例。审计是商业版本功能，使管理员能够深入了解人们如何使用他们的Metabase实例。图1。团队成员的审核日志，使管理员可以查看人们如何使用Metabase。我们将使用包含在Metabase中的示例数据库，通过这些审核工具可以帮助我们的一些示例：看看谁在看什么数据，然后找出机会优化仪表板和查询。这些审计工具是管理法规遵从性要求的必备工具

原创 Metabase学习教程：权限-2

使用集合权限设置具有权限的集合，以帮助用户组织和共享与其相关的工作。集合保持问题,仪表板，和模型有条理，容易找到。将集合视为存储我们工作的文件夹是很有帮助的。集合权限授予一群人访问：查看或编辑保存在集合中的问题、仪表板或模型。编辑集合详细信息，例如集合的名称或保存位置。在本教程中，我们将为一家拥有名为Canoes和Sailboats的团队的公司创建集合，并设置收集权限，以便：公司中的每个人都可以查看但不能编辑保存在公司顶层集合中的工作（在Metabase中，它被称为我们的

原创 Metabase学习教程：权限-1

数据权限指南通过设置对Metabase包含的示例数据库的权限，了解Metabase如何处理数据权限。数据权限指定差异有多大一群人可以与表和数据库交互。在本文中，我们将介绍一个示例，说明如何授予用户从中查看、编辑或查询表的权限示例数据库.引入数据权限让我们从导航到行政>权限，然后选择数据库>示例数据库。这将转到数据库级别的“数据权限”页。如果要为每个数据表在Sample数据库中，可以单击左侧的表名。图1。在进行任何更改之前，请打开示例数据库的“

原创 Metabase学习教程：仪表盘-4

交叉筛选：图表联动更新仪表盘筛选器只需单击几下，就可以配置任何图表或表以更新仪表盘筛选器。Metabase允许您自定义当您单击仪表盘部件。本文将详细介绍如何设置部件更新仪表盘上筛选器在我们称之为交叉筛选.下面是我们要连接的仪表盘：图1。我们的初学者仪表盘，其中包含Metabase中的示例数据库中的“订单”部件。此交叉筛选仪表盘显示有关示例数据库包含在Metabase安装中。我们的目标是：我们要设置这个仪表盘，这样当人们点击地图中的一

原创 Metabase学习教程：提问-7

清理和格式化文本如何使用自定义的文本，清理非结构化或不一致的文本。假设Metabase想为我们可爱的社区举办一个晚宴。对于主菜，我们有牛肉炖牛肉或鹰嘴豆炖菜，而对于两侧，我们有印度菜或烤蔬菜。我们已经发送了一份关于菜单选项的调查，这样每个人都可以告诉我们他们想吃什么。不幸的是，我们忘记在表单上设置数据验证，因此响应如下所示：Response ID | Main | Side ||-------------|--------------------------

原创 Metabase学习教程：提问-5

多级聚合如何使用查询生成器对多个部分提出问题。许多分析问题只需四个步骤即可回答：连接需要的表得到需要的信息。过滤数据使其仅包含期望的记录。分组和聚合这些数据，创造你所需要的价值。可视化结果，方便直观的理解数据告诉了你什么。不过，查询并不一定要到此为止：Metabase允许您一步一步地添加更多的过滤器和计算更多的摘要。为了了解这是如何工作的，让我们跟踪分析人员可能要经历的步骤，同时探究每种类别的商品每周售出多少。我们首先统计示例数据库每周有关的销售信息，通过Orde

原创 Metabase学习教程：入门-4

专属BI：可以用Metabase解决的其他问题将Metabase用作数据库浏览器、发布平台、查找工具或快速商业智能工具，或者仅作为字段显示常见问题的方法。构建Metabase最有趣的部分之一是，它可以缓解多少不同的问题，这些问题看起来并不一定像“商业智能”。我们将讨论bi平台（比如Metabase）的一些不常见的用法，并包括您可以采取的一些步骤来开始每个用例。对于这些用例中的每一个，您只需要花费5分钟正在安装Metabase和连接到数据库，你已经成功了一半。快速商业智能工具让我们从显而易