![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
国产操作系统、数据库、中间件、GPU教程
文章平均质量分 68
分享国产麒麟、统信操作系统、openguass、海量数据等国产软硬件经验
优惠券已抵扣
余额抵扣
还需支付
¥79.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
知识大胖
这个作者很懒,什么都没留下…
展开
-
大数据技术大全
数据工程是设计和构建用于大规模收集、存储和分析数据的系统的实践。组织可以收集大量数据,但为了确保数据在到达数据科学家和分析师时处于高度可用的状态,他们需要合适的人员和合适的技术,数据工程师在这里采取行动。这些是您在处理数据时可能执行的一些常见任务。原创 2022-10-31 09:36:17 · 270 阅读 · 0 评论 -
华为昇腾Ascend系列之 07 昇腾AI集群支持千卡还是万卡(教程含源码Ascend 910、Ascend 910B)
本文提供了一个简单的模型迁移样例,采用了最简单的自动迁移方法,帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程,将在GPU上训练CNN模型识别手写数字的脚本代码进行修改,使其可以迁移到昇腾NPU上进行训练。原创 2024-06-03 16:20:32 · 96 阅读 · 0 评论 -
华为昇腾Ascend系列之06 昇腾NPU模型训练,PyTorch的模型迁移与训练流程,将在GPU上训练CNN模型识别手写数字的脚本代码进行修改(教程含源码Ascend 910、Ascend 910B
本文提供了一个简单的模型迁移样例,采用了最简单的自动迁移方法,帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程,将在GPU上训练CNN模型识别手写数字的脚本代码进行修改,使其可以迁移到昇腾NPU上进行训练。原创 2024-06-03 15:33:30 · 396 阅读 · 0 评论 -
华为昇腾Ascend系列 之 05 安装docker环境运行llama大模型进行推理(教程含源码Ascend 910、Ascend 910B)
本文主要向用户介绍基于Ascend 910 推理卡,快速完成昇腾NPU(Neural-Network Processing Unit,神经网络处理器单元)驱动固件、CANN(Compute Architecture for Neural Networks,AI异构计算架构)软件的安装,实现推理业务的上线。当前华为昇腾 910B 能力已经基本做到可对标英伟达 A100。原创 2024-06-03 14:43:27 · 842 阅读 · 0 评论 -
华为昇腾Ascend系列 之 04 安装开发环境hdk driver 与 firmware(教程含源码Ascend 910、Ascend 910B)
本文主要向用户介绍基于Ascend 910 推理卡,快速完成昇腾NPU(Neural-Network Processing Unit,神经网络处理器单元)驱动固件、CANN(Compute Architecture for Neural Networks,AI异构计算架构)软件的安装,实现推理业务的上线。安装开发环境hdk driver 与 firmware。原创 2024-06-03 14:07:43 · 534 阅读 · 0 评论 -
华为昇腾Ascend系列 之 02 如何查看GPU芯片监测数据(教程含源码Ascend 910、Ascend 910B)
如何查看GPU芯片监测数据?原创 2024-06-03 12:00:21 · 355 阅读 · 0 评论 -
新支点服务器操作系统教程之什么是新支点服务器操作系统?学习新支点服务器操作系统有什么用?
新支点电信级服务器操作系统V6.06是中兴新支点基于国内OpenAnolis开源社区独立演进和维护的linux发行版本。是一款高安全、高稳定、高可控的电信级Linux服务器操作系统产品。核心组件信息如下。原创 2024-05-25 17:36:17 · 54 阅读 · 0 评论 -
腾讯云Linux服务器操作系统教程之 01 什么是TencentOS Server?学习TencentOS Server有什么用?
腾讯云Linux服务器操作系统(TencentOS Server)是腾讯云推出的企业级Linux服务器操作系统产品,自研内核核心技术,支持国产主流硬件平台,具有高可用性、高性能、高安全性等特点,能够为数据中心服务器提供稳定、安全和高性能的基础运行环境。同时TencentOS Server为用户提供完善的CentOS迁移替换工具,可以解决企业机构的国产化操作系统替换需求。原创 2024-05-25 17:28:52 · 59 阅读 · 0 评论 -
阿里云服务器操作系统教程之 01 什么是Alibaba Cloud Linux?为什么要学习这个操作系统?
阿⾥云服务器操作系统V3(Alinux 3.2304)是阿⾥云⾃研的⼀款基于 Linux 路线的数据中⼼服务器操作系统,该产品在提供数据中⼼服务器操作系统通⽤功能的基础上,针对阿⾥云基础设施、云计算丰富场景进⾏了深度优化。该产品始终秉承⾃主研发的技术路线,历经⼗余年发展迭代,该产品已经形成领先的产品竞争⼒和服务及⽣态布局,可满⾜⼤规模多样性复杂场景和各⾏各业海量⽤户需求。原创 2024-05-25 17:21:17 · 280 阅读 · 0 评论 -
华为欧拉服务器操作系统教程之 01 什么是华为欧拉服务器操作系统(EulerOS)
华为欧拉服务器操作系统软件V2.0是华为公司研发的企业级linux服务器操作系统,具有较高的性能、可靠性、易维护以及安全性,与业界软硬件良好兼容,能够满足您日常业务运维和管理的需求。原创 2024-05-25 17:04:15 · 352 阅读 · 0 评论 -
信创基础之苹果系统m2如何远程vnc到麒麟操作系统(教程含详细配置步骤)
VNC(Virtual Network Computing)即虚拟网络计算,是一种远程控制技术。VNC 允许用户通过网络连接到远程计算机,并在本地对远程计算机进行操作。类似我们在windows上的远程桌面rdp。原创 2024-04-11 17:33:36 · 144 阅读 · 0 评论 -
信创教程之麒麟操作系统如何安装pip3
如果你的银河麒麟操作系统上没有安装pip,你需要先安装它。如果遇到无法安装问题,请先检测yum源。原创 2024-04-11 16:37:00 · 525 阅读 · 0 评论 -
信创大模型系列之 02 麒麟操作系统上安装曙光DCU Z100 DTK 开发工具包(教程含详细步骤)
DTK是英文Developer Tool Kit的缩写,即DCU Z100显卡的开发工具包。DTK在每年的4月和10月会进行大版本更新。DTK软件包可以从光合开发者社区(https://developer.hpccube.com/)下载,在页面上找到“资源下载中心”-“DCU Toolkit”-“下载地址”。在打开的页面中找到需要的DTK版本,选择使用的操作系统,即可下载。原创 2024-04-10 16:59:54 · 408 阅读 · 0 评论 -
信创大模型系列之 01 麒麟操作系统上安装曙光DCU Z100 驱动(教程含详细步骤)
公司购置了一批国产GPU服务器开展大模型训练与研究,下面分享一下麒麟操作系统上安装曙光DCU Z100L驱动详细教程。原创 2024-04-10 16:32:26 · 683 阅读 · 0 评论 -
麒麟操作系统如何启动snmp实现网管系统监控(教程含详细配置)
银河麒麟高级服务器操作系统V10 SP3是一款直接面向kernel根社区,基于openEuler社区构建强安全、高可靠的国产Linux操作系统。具备CPU架构同源支持、自主平台优化、云原生支持、可管理性、高可用性和内生本质安全六大特性优势。原创 2024-04-02 12:19:12 · 843 阅读 · 0 评论 -
麒麟操作系统如何查询系统类型和版本
银河麒麟高级服务器操作系统V10 SP3是一款直接面向kernel根社区,基于openEuler社区构建强安全、高可靠的国产Linux操作系统。具备CPU架构同源支持、自主平台优化、云原生支持、可管理性、高可用性和内生本质安全六大特性优势。原创 2024-04-02 10:34:42 · 2569 阅读 · 0 评论 -
国产数据库之海量数据库介绍Vastbase G100、Vastbase G200、Vastbase M100
目前,通过安全可靠测评结果公告(2023年第1号)的版本为Vastbase G100。原创 2024-04-02 09:32:33 · 1402 阅读 · 0 评论 -
国产化之麒麟操作系统上如何开通东方通中间件远程监控(教程含解决方案)
如何麒麟操作系统上如何开通东方通中间件远程监控?经咨询东方通原厂技术,要实现对东方通远程监控需要服务器上开展开启jmx配置。原创 2024-04-02 09:19:34 · 296 阅读 · 0 评论 -
苹果笔记本安装国产银河麒麟操作系统Kylin-Desktop-V10-SP1-General-Release-2303-ARM64
2023年IT产业新趋势主要在基于国产操作系统的全产业链开发,作为一名普通的软件开发者,我们要顺应潮流,赶上潮流。下面让我们一起来研究一下国产操作系统吧。原创 2023-09-21 09:27:18 · 3461 阅读 · 6 评论 -
苹果笔记本安装国产统信操作系统UOS uos-desktop-20-e-1060-arm64
2023年IT产业新趋势主要在基于国产操作系统的全产业链开发,作为一名普通的软件开发者,我们要顺应潮流,赶上潮流。下面让我们一起来研究一下国产操作系统吧。原创 2023-09-20 10:24:51 · 869 阅读 · 0 评论 -
如何毫不费力地探索您的 IDX 数据集,使用 idx2numpy 库在 Python 中探索原始 MNIST 文件
大家好!在本教程中,我们将了解如何探索 IDX 文件以提取数据集。我们将使用MNIST 数据集作为研究案例。为了简化这个过程,我们将使用idx2numpy库。原创 2023-01-03 08:44:48 · 784 阅读 · 0 评论 -
Kubernetes教程之探索 Kubernetes 容器的艺术与科学
本文提供了一系列建议来提高容器探测的精度和性能,让容器启动得更快,运行时间更长。让容器在 Kubernetes 集群中保持活跃感觉更像是一门艺术而非科学。在本文中,我潜入了疯狂的海洋,等待着那些负责创作容器探测器的人,特别关注了相对较新的启动探测器。在此过程中,我留下了精选链接的面包屑痕迹,您可以使用这些链接来采取下一步措施来实施本文中的各种建议。原创 2023-01-01 00:03:36 · 74 阅读 · 0 评论 -
在 Python 中构建高度可扩展的数据流管道
Python 已将自己塑造成一种用于数据密集型工作的语言。我们到处都能看到它,只是因为它在 Python 中的原型制作速度非常快,而且人们因其简单的语法而喜欢它,这股浪潮也登陆了数据行业。数据工程师和数据科学家也开始在他们的数据密集型工作中使用它。在这个故事中,我们将使用 Python 构建一个非常简单且高度可扩展的数据流管道。数据流是传输连续数据流的过程。现在我们知道,在管道的一侧,我们将有一些或至少一个数据生产者持续生成数据,而在另一侧,我们将有一些或至少一个数据消费者持续使用这些数据。原创 2022-10-31 14:52:40 · 311 阅读 · 0 评论 -
PySpark 教程之为并行效果调整 JDBC(教程含源码)
它花费了将近 1/3 的时间,从而使读取速度提高了 3 倍,并且我们的数据现在也被分区了。现在,如果您关注我 — 上一篇文章分享了一些通过 JDBC 读取 SQL 数据源的性能优化技术。让我们创建我们的 SparkSession,其中包含使用 JDBC 从 SQLite 数据源读取所需的库文件。今天让我们进一步调整 JDBC 连接,以充分利用 SQL 数据源读取的每一盎司性能优势。如您所见,完整读取是通过与数据库的单一连接进行的。所以,让我们用上面的参数调整我们的 JDBC 连接。原创 2022-10-24 11:54:27 · 557 阅读 · 0 评论 -
PySpark结构化流的基础Spark Structured Streaming 增强流计算的能力
因此,如果您熟悉 Spark 上的 DataFrame、Dataset 和 SQL,那么这一点会很容易。结构化流框架可以假设为微批处理框架,它将数据连续附加到表的末尾。为了开始并保持简单,我们可以将结构化流分成 4 个部分——什么、如何、何时和何地?它涉及转换(与批处理相同,但限制很少)和接收器的输出模式。目前,所有这些听起来可能有点新奇或奇怪,但在接下来的文章中,我们将通过示例来介绍所有这些。并非所有输出接收器都支持所有输出方法。我们将在运行示例时讨论所有这些。其中:定义将显示/存储数据的输出接收器。原创 2022-10-24 11:47:32 · 736 阅读 · 0 评论 -
PySpark 教程之 Count(1) vs Count(*) vs Count(col_name),那个是正确的方式从表中获取计数
如果您注意到解释计划中突出显示的部分,count(1) 和 count(*) 具有相同的计划(function = [count(1)]),完全没有变化,而在 count(city_id) 中 - Spark 应用函数=[count(city_id)],它必须遍历列以检查空值。结论:在 count(1) 和 count(*) 的情况下,我们的性能几乎相同(因为解释计划是相同的)但是使用 count(col_name) 我们可能会受到轻微的性能影响,但这没关系,因为有时我们需要得到正确的基于列计数。原创 2022-10-24 11:14:28 · 885 阅读 · 0 评论 -
PySpark 集群配置
Spark 应用程序非常依赖用于执行的集群配置。重要的是事先了解集群大小,以提高效率,为处理提供足够的资源。Spark 通过分布式并行处理能力实现其强大功能。为了获得更好的结果,我们总是必须从所有可能性中调整和估计正确的配置。Spark确定并行度=执行器数量X每个执行器的核心数让我们考虑以下示例:我们有一个包含10 个节点、26 个核心/节点和256GB 内存/节点的集群。原创 2022-10-24 11:07:04 · 845 阅读 · 0 评论 -
Spark-Radiant 1.0.4 有什么新功能?
Spark-Radiant是 Apache Spark 性能和成本优化器。产品 Spark-Radiant 将帮助优化性能和成本,考虑到催化剂优化器规则、Spark 中增强的自动缩放、收集与 Spark 作业相关的重要指标、Spark 中的 BloomFilter 索引等。我之前的博客中介绍了 Spark Radiant 项目。Spark-Radiant 1.0.4 现已上市并可以使用。Spark-Radiant 1.0.4 的依赖项在maven central中可用。原创 2022-10-24 11:01:55 · 487 阅读 · 0 评论 -
阅读这 5 本数据分析书籍,开启您的数据分析职业生涯
您是否想转变为数据分析师的角色,但不确定从哪里开始?您是否在工作中进行分析,并想了解更多有关数据大图的信息?您是否正在寻找一本出色的数据分析书籍来阅读?在本文中,您将找到我们精选的有关数据分析的最佳书籍!如果您是一名商业专业人士,正在考虑学习数据分析技能,您可能想知道应该如何开始。如果您在一家数据驱动的公司工作,或者如果当前的数据民主化趋势正在影响您的组织,那么了解数据分析特别有用,这样您就可以使用数据来回答业务问题。然而,数据分析是一个庞大的话题,并且有大量的材料。原创 2022-10-19 10:34:40 · 475 阅读 · 0 评论 -
大数据 Flink 教程之使用 Apache Flink 进行无服务器复杂事件处理
Flink 是一个分布式处理引擎,能够对数据流进行大规模的内存计算。数据流是一系列事件,例如来自单个或多个来源的事务、网站上的用户交互、应用程序日志等。流通常可以有两种类型:有界或无界。有界流具有定义的开始和结束,而无界流一旦开始,就没有定义的结束。Flink 能够处理具有超可扩展性和状态管理的两种流类型。原创 2022-10-18 14:00:44 · 466 阅读 · 0 评论 -
大数据 Flink 教程之利用 Flink Windowing 根据事件时间处理流
想象一下拆分无限的事件流并将它们作为单独的桶(或集合)处理。您可以对这些单独的事件集执行计算,以导出从 Flink 流出的有意义的事件流。通过使用 Flink 作为其框架的一部分提供的运算符/函数,您可以实现多种用例。弄清楚如何实现这些运算符并将它们链接在一起的过程取决于您。在本文中,我们将探讨窗口运算符的基础知识以及如何处理乱序事件。原创 2022-10-18 13:56:13 · 262 阅读 · 0 评论 -
DBT 存储库拆分还是不拆分?DBT 鼓励单一 monorepo model,应该分开吗?
如果您是 DBT 新手,那么您需要掌握的东西太多了,您甚至可能不会问自己这个问题。但随着组织将越来越多的工作负载迁移到 DBT,他们可能会面临一些可能是意想不到的代码组织、CI 执行时间和审批流程方面的问题。从 monorepo 开始是明智之举——毕竟,这是最简单的模型,它有可能大大减少团队可能产生的重复代码的数量。新成员入职很容易,因为他们可以看到很多其他团队成员创建的代码示例。显然,可以通过使用宏来删除大量代码重复,但是通过查看大量代码示例(例如命名约定等)可以获得更多好处。原创 2022-10-18 09:12:52 · 267 阅读 · 0 评论 -
大数据KRaft教程之Kafka 宣布KRaft 已准备好,不再需要运行 Zookeeper
Raft 共识协议背后的想法来自于这篇论文。这篇论文很容易理解,它是开始你阅读学术论文之旅的好论文——我强烈建议你去看看。我也会带你过去。Raft 的设计易于理解。它来自与 Paxos 类似的共识协议家族。Chubby(谷歌的内部锁服务)背后的工程师有一句名言Paxos 算法的描述与现实世界系统的需求之间存在很大差距。为了构建一个真实世界的系统,专家需要使用散布在文献中的众多想法,并进行几个相对较小的协议扩展。累积的努力将是巨大的,最终的系统将基于未经证实的协议。原创 2022-10-18 08:48:44 · 805 阅读 · 0 评论 -
大数据Flink教程之生产化 Flink 作业后需要注意的 7 件事,将工作投入生产只是第一步
尽管许多公司都在努力启用他们的实时数据,但越来越多的公司实际上正在运行生产、流式工作负载。当我与客户一起运行他们的工作负载时,我意识到通过正确的准备可以避免某些问题。我提倡尽可能使用流媒体。在 Flink 上开始使用流媒体变得越来越容易——您可以使用 FlinkSQL 或像Ververica这样的 SaaS 平台。即使开始很简单,事情也会变得复杂。原创 2022-10-18 08:42:06 · 257 阅读 · 0 评论 -
大数据Airflow教程之如何在 Kubernetes 上部署 Airflow 的?包含最佳部署实践的完整指南
我已经使用 Airflow 很长时间了。在我们的工作流管理系统中,Airflow 一直是我最喜欢的调度程序。每当我讨论“构建调度程序”时,我的脑海中都会立即跳出“气流”这个词。起初,我的 Airflow 使用 docker 容器和CeleryExecutor. 作为我们数据工程团队的调度程序,它运行良好。几个月后,我们的调度器需要服务更多的用户,处理更繁重的工作量。所以我必须寻找能够满足我们要求的东西:稳定性、可扩展性和多租户用户支持。原创 2022-10-18 08:32:25 · 915 阅读 · 0 评论 -
大数据Flink教程之 在 Minikube 上部署 Flink Native Kubernetes
官方文档很好,但还不够。在配置 Minikube 的过程中,我遇到了很多网络问题。Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。Flink 被设计为在所有常见的集群环境中运行,以内存中的速度和任何规模执行计算。Job Manager:将工作分配给多个 TaskManager任务管理器:执行 Flink Job 的工作。原创 2022-10-18 08:25:18 · 268 阅读 · 0 评论 -
大数据教程之使用嵌入式 Zookeeper 设置 Apache Nifi 集群
最近在尝试在集群模式下设置 Nifi 时,我很快意识到没有很多明确的文档或文章描述如何准确地做到这一点。更糟糕的是,配置正确的集群配置并不是一件容易的事。Nifi 默认包含 Zookeeper 的设置。Zookeeper 用于创建和管理在分布式系统上运行的 nifi 实例集群。当然,您可以在外部使用 zookeeper,但这超出了本文的范围。说够了!让我告诉你如何做到这一点,并在你的同龄人中变得很酷。基本上所有配置文件都存在于./conf目录下。原创 2022-10-18 08:18:20 · 353 阅读 · 0 评论 -
大数据教程之Zookeeper 分布式服务在分布式环境中协调和管理服务
分布式应用程序可以在给定时间(同时)在网络中的多个系统上运行,通过它们之间的协调以快速有效的方式完成特定任务。通常,由非分布式应用程序(在单个系统中运行)需要数小时才能完成的复杂且耗时的任务可以通过使用所有相关系统的计算能力由分布式应用程序在几分钟内完成。通过将分布式应用程序配置为在更多系统上运行,可以进一步减少完成任务的时间。运行分布式应用程序的一组系统称为集群,集群中运行的每台机器称为节点。分布式应用程序有两个部分,服务器和客户端应用程序。原创 2022-10-17 20:18:43 · 284 阅读 · 0 评论 -
大数据教程之Apache Kafka 入门
Kafka 是一个分布式事件流平台,可让我们跨多台机器读取、写入、存储和处理事件(也称为记录或消息)。示例事件包括支付交易、来自手机的地理位置更新、运输订单、来自物联网设备或医疗设备的传感器测量等等。这些事件被组织并存储在主题中。非常简化,主题类似于文件系统中的文件夹,事件是该文件夹中的文件。原创 2022-10-17 20:10:19 · 399 阅读 · 0 评论 -
大数据教程之Apache Curator:ZooKeeper 变得简单
Apache Curator 旨在简化基于 ZooKeeper 的应用程序的开发并使其更加可靠。更简单的 API简单的连接管理即用型食谱Curator 于 2011 年 7 月由 Netflix 在 GitHub 上开源。Curator 孵化器提案于 2013 年提出,并于同年毕业至顶级项目。原创 2022-10-17 20:05:33 · 355 阅读 · 0 评论