- 博客(12)
- 收藏
- 关注
RSS订阅原创 HIVE 和Hadoop 配置环境报错：NoSuchMethodError 和 Invalid UTF-8
大数据平台部署问题解析：Guava冲突与文件编码异常 摘要：本文记录了在Hadoop 3.1.3环境部署Hive 3.1.3时遇到的典型问题。首先解决Guava版本冲突导致的NoSuchMethodError，通过统一依赖版本（Hadoop的Guava 27.0替换Hive的19.0）；其次处理Invalid UTF-8编码错误，重建纯净的hive-site.xml配置文件。两个案例分别展示了大数据环境中依赖管理和配置文件处理的要点：严格检查核心依赖版本对齐，确保配置文件采用标准UTF-8编码。解决方案采用
2025-08-29 20:17:39
404
原创 数据仓库与Hive简介
本文介绍了数据仓库的基本概念及其与业务数据库的区别，重点阐述了数据仓库的分层架构（ODS→DWD→DWS→ADS）和核心设计理念。同时，详细讲解了Hive作为构建大数据仓库的事实标准工具，包括其架构特点（元数据与数据分离）、核心优势（易用性、可扩展性）以及如何实现数据仓库分层。Hive通过将SQL查询转换为分布式计算任务，使非技术人员也能高效处理海量数据，是连接传统数据仓库理论与现代大数据技术的重要桥梁。
2025-08-29 17:49:20
624
原创 hadoop3.3.6版本yarn配置错误：解决 MapReduce 作业 ClassNotFoundException: MRAppMaster 错误
这是最关键的第一步，路径绝对不能错。登录到你的 Hadoop 服务器，进入 Hadoop 的安装目录，然后执行。Hadoop 不允许输出目录已存在。在重新运行作业前，需要先删除上一次失败时在 HDFS 上创建的输出目录。执行完以上步骤后，你的 MapReduce 作业应该就能在 YARN 上成功运行了。由于修改了 YARN 运行环境的配置，必须重启 YARN 服务才能使配置生效。示例）时，作业提交后很快就失败。在 YARN 上运行 MapReduce 作业（如。，以便它能正确设置环境变量。
2025-08-10 19:39:58
233
原创 错误处理[Message from syslogd@bigdata00 at Aug 10 10:31:57 ... kernel:[ 1388.982700] watchdog: BUG: so]
内核的显卡驱动程序试图对显示器进行操作。结果 GPU 卡死了，从未回复。正在等待的那个 CPU 核心因此被卡住，最终导致了“软死锁”错误。这个参数会强制系统使用一个简单、通用的帧缓冲（framebuffer）驱动，这个驱动要稳定得多。因为博主的虚拟机是一台服务器（Ubuntu 22.04 server），我不需要为命令行提供图形加速功能。这在服务器上非常常见，尤其是在“无头”服务器（没有连接显示器）上。重启之后，内核将不会再尝试加载完整的 KMS 驱动，那些。错误以及随之而来的软死锁问题应该会彻底消失。
2025-08-10 18:47:45
676
原创 MapReduce过程中的InputForm切片部分的入门详解（包含一点源码分析和案例分析）
MapReduce过程中的InputForm切片部分的入门详解（包含一点源码分析和案例分析）切片目的。切片机制、切片方式
2022-10-07 19:54:06
726
原创 MapReduce入门详解（以WordCount为例）
文章目录大致介绍MapReduceMapReduce的优缺点以WordCount为例介绍MapReduce的核心思想（重点）大致流程图各阶段的介绍生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants大致介绍MapReduceHadoop MapReduce是一个软件框架，可以轻松地编写应用程序，在大型集群(数千个节点)上以可靠、容错的方式并行处理大量数据(tb数据集)。MapReduce作业通常将输入数据集分割成独立的块，由map任务以完全并行的方式处理这些块。框架对映射的输
2022-04-16 14:53:38
6441
2
原创 NameNode中Fslmage镜像和Edits编辑日志详解
文章目录NameNode功能概述引入Fslmage镜像文件和Edits编辑日志的目的Fslmage镜像文件和Edits编辑日志的记录方式详解Fslmage镜像文件和Edits编辑日志大概介绍里面文件的含义详解seen_txud文件详解Fsimage镜像文件详解Edits编辑日志总结NameNode功能概述管理文件系统的命名空间（Namespace）。它维护着文件系统树(filesystem tree)及整棵树内所有的文件和目录的元数据（metadata），比如命名空间信息，块信息等。而NameNode为
2022-04-15 09:30:33
1434
1
原创 Hadoop中HDFS的读写流程详解
一、HDFS写流程示意图：（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在,检查客户端是否有权限，如果以上条件均满足，执行（2）（2）NameNode响应客户端的请求，允许其上传文件。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（注意：NameNode在返回3个DataNode节点之前，会存储相关信息到元数据，用于对其的管理）（4）NameNode返回3个DataNo
2022-04-13 23:11:40
6010
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人