iCloudEnd的博客

数据工程是设计和构建用于大规模收集、存储和分析数据的系统的实践。组织可以收集大量数据，但为了确保数据在到达数据科学家和分析师时处于高度可用的状态，他们需要合适的人员和合适的技术，数据工程师在这里采取行动。这些是您在处理数据时可能执行的一些常见任务。

近年来，IT 基础架构的格局一直在快速演变，企业不断寻求优化成本、提高性能和保持灵活性的方法。一个重大转变是远离 VMware，尤其是在被 Broadcom 收购之后。这导致各种规模的组织都在探索更符合其需求和预算的替代方案。本文深入探讨了这些迁移背后的原因、面临的常见挑战以及 IT 专业人员采用的一些成功替代方案。

本文提供了一个简单的模型迁移样例，采用了最简单的自动迁移方法，帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改，使其可以迁移到昇腾NPU上进行训练。

本文提供了一个简单的模型迁移样例，采用了最简单的自动迁移方法，帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改，使其可以迁移到昇腾NPU上进行训练。

本文主要向用户介绍基于Ascend 910 推理卡，快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，实现推理业务的上线。当前华为昇腾 910B 能力已经基本做到可对标英伟达 A100。

本文主要向用户介绍基于Ascend 910 推理卡，快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，实现推理业务的上线。安装开发环境hdk driver 与 firmware。

如何查看服务器操作系统版本。

如何查看GPU芯片监测数据？

昇腾 310 和 910 处理器为华为AI 算力领域核心产品，910 单卡 Int8 算力大致可达 0.6 P，最大功耗为 300W，已可对标国际主流 GPU。且昇腾计算产业在硬件方面坚持“硬件开放”策略，通过自有硬件和合作硬件相结合的方式，可为客户提供多样化的算力选择。

新支点电信级服务器操作系统V6.06是中兴新支点基于国内OpenAnolis开源社区独立演进和维护的linux发行版本。是一款高安全、高稳定、高可控的电信级Linux服务器操作系统产品。核心组件信息如下。

腾讯云Linux服务器操作系统（TencentOS Server）是腾讯云推出的企业级Linux服务器操作系统产品，自研内核核心技术，支持国产主流硬件平台，具有高可用性、高性能、高安全性等特点，能够为数据中心服务器提供稳定、安全和高性能的基础运行环境。同时TencentOS Server为用户提供完善的CentOS迁移替换工具，可以解决企业机构的国产化操作系统替换需求。

阿⾥云服务器操作系统V3（Alinux 3.2304）是阿⾥云⾃研的⼀款基于 Linux 路线的数据中⼼服务器操作系统，该产品在提供数据中⼼服务器操作系统通⽤功能的基础上，针对阿⾥云基础设施、云计算丰富场景进⾏了深度优化。该产品始终秉承⾃主研发的技术路线，历经⼗余年发展迭代，该产品已经形成领先的产品竞争⼒和服务及⽣态布局，可满⾜⼤规模多样性复杂场景和各⾏各业海量⽤户需求。

华为欧拉服务器操作系统软件V2.0是华为公司研发的企业级linux服务器操作系统，具有较高的性能、可靠性、易维护以及安全性，与业界软硬件良好兼容，能够满足您日常业务运维和管理的需求。

VNC（Virtual Network Computing）即虚拟网络计算，是一种远程控制技术。VNC 允许用户通过网络连接到远程计算机，并在本地对远程计算机进行操作。类似我们在windows上的远程桌面rdp。

如果你的银河麒麟操作系统上没有安装pip，你需要先安装它。如果遇到无法安装问题，请先检测yum源。

DTK是英文Developer Tool Kit的缩写，即DCU Z100显卡的开发工具包。DTK在每年的4月和10月会进行大版本更新。DTK软件包可以从光合开发者社区（https://developer.hpccube.com/）下载，在页面上找到“资源下载中心”-“DCU Toolkit”-“下载地址”。在打开的页面中找到需要的DTK版本，选择使用的操作系统，即可下载。

公司购置了一批国产GPU服务器开展大模型训练与研究，下面分享一下麒麟操作系统上安装曙光DCU Z100L驱动详细教程。

银河麒麟高级服务器操作系统V10 SP3是一款直接面向kernel根社区，基于openEuler社区构建强安全、高可靠的国产Linux操作系统。具备CPU架构同源支持、自主平台优化、云原生支持、可管理性、高可用性和内生本质安全六大特性优势。

银河麒麟高级服务器操作系统V10 SP3是一款直接面向kernel根社区，基于openEuler社区构建强安全、高可靠的国产Linux操作系统。具备CPU架构同源支持、自主平台优化、云原生支持、可管理性、高可用性和内生本质安全六大特性优势。

银河麒麟高级服务器操作系统V10 SP3是一款直接面向kernel根社区，基于openEuler社区构建强安全、高可靠的国产Linux操作系统。具备CPU架构同源支持、自主平台优化、云原生支持、可管理性、高可用性和内生本质安全六大特性优势。

目前，通过安全可靠测评结果公告（2023年第1号）的版本为Vastbase G100。

如何麒麟操作系统上如何开通东方通中间件远程监控？经咨询东方通原厂技术，要实现对东方通远程监控需要服务器上开展开启jmx配置。

2023年IT产业新趋势主要在基于国产操作系统的全产业链开发，作为一名普通的软件开发者，我们要顺应潮流，赶上潮流。下面让我们一起来研究一下国产操作系统吧。

2023年IT产业新趋势主要在基于国产操作系统的全产业链开发，作为一名普通的软件开发者，我们要顺应潮流，赶上潮流。下面让我们一起来研究一下国产操作系统吧。

大家好！在本教程中，我们将了解如何探索 IDX 文件以提取数据集。我们将使用MNIST 数据集作为研究案例。为了简化这个过程，我们将使用idx2numpy库。

本文提供了一系列建议来提高容器探测的精度和性能，让容器启动得更快，运行时间更长。让容器在 Kubernetes 集群中保持活跃感觉更像是一门艺术而非科学。在本文中，我潜入了疯狂的海洋，等待着那些负责创作容器探测器的人，特别关注了相对较新的启动探测器。在此过程中，我留下了精选链接的面包屑痕迹，您可以使用这些链接来采取下一步措施来实施本文中的各种建议。

Python 已将自己塑造成一种用于数据密集型工作的语言。我们到处都能看到它，只是因为它在 Python 中的原型制作速度非常快，而且人们因其简单的语法而喜欢它，这股浪潮也登陆了数据行业。数据工程师和数据科学家也开始在他们的数据密集型工作中使用它。在这个故事中，我们将使用 Python 构建一个非常简单且高度可扩展的数据流管道。数据流是传输连续数据流的过程。现在我们知道，在管道的一侧，我们将有一些或至少一个数据生产者持续生成数据，而在另一侧，我们将有一些或至少一个数据消费者持续使用这些数据。

它花费了将近 1/3 的时间，从而使读取速度提高了 3 倍，并且我们的数据现在也被分区了。现在，如果您关注我 — 上一篇文章分享了一些通过 JDBC 读取 SQL 数据源的性能优化技术。让我们创建我们的 SparkSession，其中包含使用 JDBC 从 SQLite 数据源读取所需的库文件。今天让我们进一步调整 JDBC 连接，以充分利用 SQL 数据源读取的每一盎司性能优势。如您所见，完整读取是通过与数据库的单一连接进行的。所以，让我们用上面的参数调整我们的 JDBC 连接。

因此，如果您熟悉 Spark 上的 DataFrame、Dataset 和 SQL，那么这一点会很容易。结构化流框架可以假设为微批处理框架，它将数据连续附加到表的末尾。为了开始并保持简单，我们可以将结构化流分成 4 个部分——什么、如何、何时和何地？它涉及转换（与批处理相同，但限制很少）和接收器的输出模式。目前，所有这些听起来可能有点新奇或奇怪，但在接下来的文章中，我们将通过示例来介绍所有这些。并非所有输出接收器都支持所有输出方法。我们将在运行示例时讨论所有这些。其中：定义将显示/存储数据的输出接收器。

如果您注意到解释计划中突出显示的部分，count(1) 和 count(*) 具有相同的计划(function = [count(1)])，完全没有变化，而在 count(city_id) 中 - Spark 应用函数=[count(city_id)]，它必须遍历列以检查空值。结论：在 count(1) 和 count(*) 的情况下，我们的性能几乎相同（因为解释计划是相同的）但是使用 count(col_name) 我们可能会受到轻微的性能影响，但这没关系，因为有时我们需要得到正确的基于列计数。

Spark 应用程序非常依赖用于执行的集群配置。重要的是事先了解集群大小，以提高效率，为处理提供足够的资源。Spark 通过分布式并行处理能力实现其强大功能。为了获得更好的结果，我们总是必须从所有可能性中调整和估计正确的配置。Spark确定并行度=执行器数量X每个执行器的核心数让我们考虑以下示例：我们有一个包含10 个节点、26 个核心/节点和256GB 内存/节点的集群。

Spark-Radiant是 Apache Spark 性能和成本优化器。产品 Spark-Radiant 将帮助优化性能和成本，考虑到催化剂优化器规则、Spark 中增强的自动缩放、收集与 Spark 作业相关的重要指标、Spark 中的 BloomFilter 索引等。我之前的博客中介绍了 Spark Radiant 项目。Spark-Radiant 1.0.4 现已上市并可以使用。Spark-Radiant 1.0.4 的依赖项在maven central中可用。

您是否想转变为数据分析师的角色，但不确定从哪里开始？您是否在工作中进行分析，并想了解更多有关数据大图的信息？您是否正在寻找一本出色的数据分析书籍来阅读？在本文中，您将找到我们精选的有关数据分析的最佳书籍！如果您是一名商业专业人士，正在考虑学习数据分析技能，您可能想知道应该如何开始。如果您在一家数据驱动的公司工作，或者如果当前的数据民主化趋势正在影响您的组织，那么了解数据分析特别有用，这样您就可以使用数据来回答业务问题。然而，数据分析是一个庞大的话题，并且有大量的材料。

Flink 是一个分布式处理引擎，能够对数据流进行大规模的内存计算。数据流是一系列事件，例如来自单个或多个来源的事务、网站上的用户交互、应用程序日志等。流通常可以有两种类型：有界或无界。有界流具有定义的开始和结束，而无界流一旦开始，就没有定义的结束。Flink 能够处理具有超可扩展性和状态管理的两种流类型。

想象一下拆分无限的事件流并将它们作为单独的桶（或集合）处理。您可以对这些单独的事件集执行计算，以导出从 Flink 流出的有意义的事件流。通过使用 Flink 作为其框架的一部分提供的运算符/函数，您可以实现多种用例。弄清楚如何实现这些运算符并将它们链接在一起的过程取决于您。在本文中，我们将探讨窗口运算符的基础知识以及如何处理乱序事件。

如果您是 DBT 新手，那么您需要掌握的东西太多了，您甚至可能不会问自己这个问题。但随着组织将越来越多的工作负载迁移到 DBT，他们可能会面临一些可能是意想不到的代码组织、CI 执行时间和审批流程方面的问题。从 monorepo 开始是明智之举——毕竟，这是最简单的模型，它有可能大大减少团队可能产生的重复代码的数量。新成员入职很容易，​​因为他们可以看到很多其他团队成员创建的代码示例。显然，可以通过使用宏来删除大量代码重复，但是通过查看大量代码示例（例如命名约定等）可以获得更多好处。

Raft 共识协议背后的想法来自于这篇论文。这篇论文很容易理解，它是开始你阅读学术论文之旅的好论文——我强烈建议你去看看。我也会带你过去。Raft 的设计易于理解。它来自与 Paxos 类似的共识协议家族。Chubby（谷歌的内部锁服务）背后的工程师有一句名言Paxos 算法的描述与现实世界系统的需求之间存在很大差距。为了构建一个真实世界的系统，专家需要使用散布在文献中的众多想法，并进行几个相对较小的协议扩展。累积的努力将是巨大的，最终的系统将基于未经证实的协议。

尽管许多公司都在努力启用他们的实时数据，但越来越多的公司实际上正在运行生产、流式工作负载。当我与客户一起运行他们的工作负载时，我意识到通过正确的准备可以避免某些问题。我提倡尽可能使用流媒体。在 Flink 上开始使用流媒体变得越来越容易——您可以使用 FlinkSQL 或像Ververica这样的 SaaS 平台。即使开始很简单，事情也会变得复杂。

我已经使用 Airflow 很长时间了。在我们的工作流管理系统中，Airflow 一直是我最喜欢的调度程序。每当我讨论“构建调度程序”时，我的脑海中都会立即跳出“气流”这个词。起初，我的 Airflow 使用 docker 容器和CeleryExecutor. 作为我们数据工程团队的调度程序，它运行良好。几个月后，我们的调度器需要服务更多的用户，处理更繁重的工作量。所以我必须寻找能够满足我们要求的东西：稳定性、可扩展性和多租户用户支持。

官方文档很好，但还不够。在配置 Minikube 的过程中，我遇到了很多网络问题。Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存中的速度和任何规模执行计算。Job Manager：将工作分配给多个 TaskManager任务管理器：执行 Flink Job 的工作。