- 博客(15)
- 收藏
- 关注
RSS订阅原创 【Ubuntu 24.04.3 LTS（Noble Numbat）】移动硬盘数据提取操作手册
2. 将硬盘连接到其他电脑，确认是否能正常识别（排除硬件故障）从插入 Ubuntu 系统（含桌面版 / 服务器版）的移动硬盘中安全提取数据，核心流程为 “：粘贴完成后，核对本地文件的大小、数量与移动硬盘中的源文件一致，避免数据丢失。为空，需按以下步骤手动创建挂载点并挂载硬盘（以移动硬盘分区路径。命令，该命令会列出所有块设备（硬盘、分区等），重点关注。挂载需匹配文件系统类型（不同系统格式需对应驱动），执行。有进程正在访问移动硬盘（如终端在挂载点、文件管理器打开）
2025-10-15 18:33:07
861
原创 【Ubuntu 24.04.3 LTS（Noble Numbat）】版本安装配置 MySQL8.4.6
作为代号的长期支持版本，凭借其稳定的内核和优化的软件生态，成为企业级数据库部署的理想平台。本文将详细记录在该系统上安装的全过程，涵盖从环境准备到安全配置的完整步骤，帮助开发者快速搭建高性能数据库环境。
2025-09-26 18:10:11
1266
原创 【Ubuntu 24.04.3 LTS（Noble Numbat）】版本APT更换为国内源
APT（）是 Ubuntu 及其他 Debian 系 Linux 发行版的核心软件包管理工具，用于自动化处理软件包的安装、更新、依赖关系及系统维护。依赖管理自动解析并安装软件包依赖项（如），避免手动处理依赖冲突。通过可修复因依赖缺失导致的安装失败。软件源支持从远程仓库（如noble）获取软件包，支持搜索、更新和升级（apt update和）。默认配置文件，可自定义镜像源（如国内清华、阿里云源）。高级维护功能清理无用包（）、彻底删除包（apt purge）及管理旧版本（）。
2025-09-24 21:09:41
1398
原创 【Flink】普通 API 的使用
Apache Flink 是一个分布式流处理框架，用于处理实时数据流。数据流处理被划分为三个主要阶段：Source、Transformation和Sink。这三个阶段共同构成了Flink程序的基本结构，使得数据流能够从源头被读取、经过一系列转换处理，并最终输出到目标系统。
2024-12-10 19:32:35
1060
原创 【Kafka】Kafka-Eagle 和 Kafka-UI 的安装使用
Kafka Eagle 提供了完善的管理页面，可以监控 Kafka 集群的整体运行情况，很方便的去管理和可视化 Kafka 集群的一些信息，例如 Broker 详情、性能指标趋势、Topic 集合、消费者信息等，在生产环境中经常使用。
2024-11-30 20:07:38
2430
1
原创 【Flink】集群环境下的搭建（Standalone 模式）
Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架，支持多种安装部署模式。主要包括以下几种1.Standalone 模式：这是独立运行的模式，不依赖任何外部的资源管理平台，只需要运行所有Flink组件服务。这种模式适合开发和测试环境。2.YARN 模式。
2024-11-28 20:59:52
1907
1
原创 【PySpark】本地开发环境的搭建
在 Windows 上可以利用 Py4j 库来让 Python 程序调用 Spark 的 Java 接口来运行 PySpark 进行开发，下面我们来梳理一下这个过程。
2024-11-23 17:34:21
1663
原创 【Spark】Exception: Java gateway process exited before sending its port number
1. 检查服务器上的配置文件没有问题；2. 检查本地 Windows 上 Anaconda 的安装没有问题；3. 检查 Anaconda 中 PySpark 的安装没有问题；4. 检查 Pycharm 创建项目时的环境选择没有问题；5. 检查 PySpark 代码没有问题。
2024-11-13 20:48:41
869
原创 【Spark】集群环境下的搭建（Yarn 模式）
Spark有五种运行模式，分别是Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式。Local 模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用。Standalone 模式（集群）Standalone模式是Spark自带的资源调度系统，支持完全分布式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。
2024-11-12 20:49:33
1971
原创 【Spark】集群环境下的搭建（Standalone 模式）
Spark有五种运行模式，分别是Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式。Local 模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用。Standalone 模式（集群）Standalone模式是Spark自带的资源调度系统，支持完全分布式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。
2024-11-09 17:44:59
1588
原创 【Spark】本地环境下的搭建（单机模式）
Spark有五种运行模式，分别是Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式。Local 模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用。Standalone 模式（集群）Standalone模式是Spark自带的资源调度系统，支持完全分布式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。
2024-11-09 11:49:43
2208
原创 【Kafka】集群安装部署
Kafka是由Apache软件基金会开发的开源流处理平台最初由LinkedIn(领英)公司发布，使用Scala语言编写，于2010年12月份开源，成为Apache的顶级项目，Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统，能够处理活跃live的所有动作流数据，如网页浏览、搜索等，作为消息队列中间件，在分布式系统中扮演着重要角色，通过异步处理提高系统性能，降低系统耦合性，实现系统解耦和流量削峰填谷。在大数据技术中，Kafka属于实时计算架构中的一员悍将！
2024-11-08 13:53:40
957
原创 【Hive SQL】如何判断一个字段是否包含某个特定的值
在Hive SQL中，如果你需要判断一个字段是否包含某个特定的值，你可以使用 LIKE或 RLIKE关键字来进行字符串匹配。此外，Hive也支持一些字符串函数，如 INSTR和 LOCATE，这些都可以用于不同的需求场景。
2024-11-07 16:26:29
1461
原创 WARN hive.TableDefWriter: Column your_column had to be cast to a less precise type in Hive
在导入数据之前，先在Hive中创建好表结构，并明确指定每个列的数据类型，这样可以确保数据的精度和完整性得到保护。
2024-09-25 16:25:28
699
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人