- 博客(14)
- 收藏
- 关注
RSS订阅原创 Hadoop 学习笔记之参数调优手册
本文详细介绍了Hadoop HDFS的核心参数配置、集群性能优化及故障处理方法。主要内容包括：1）NameNode内存配置与心跳并发优化；2）HDFS集群压测方法，包括读写性能测试；3）集群扩容缩容操作，如白名单/黑名单管理、数据均衡；4）存储优化方案，如纠删码和异构存储技术；5）常见故障排查指南；6）MapReduce性能调优参数；7）小文件处理策略。通过实际案例展示了从1G数据统计词频的完整调优过程，涉及HDFS、MapReduce和Yarn的参数配置优化。
2026-05-13 15:10:38
321
原创 Hadoop 学习笔记之 Yarn
Yarn资源调度器是Hadoop的核心组件，负责集群资源管理和任务调度。其核心架构包括ResourceManager、NodeManager、ApplicationMaster和Container。Yarn支持三种调度器：FIFO、Capacity和Fair。通过配置yarn-site.xml等文件，可以调整队列资源分配、容器内存等参数。实际案例展示了如何配置多队列资源分配、任务优先级设置以及公平调度器的队列规则。此外，通过实现Tool接口，开发者可以创建支持动态参数的自定义MapReduce程序
2026-05-10 13:16:32
357
原创 Hadoop 学习笔记之 MapReduce
MapReduce是Hadoop的核心分布式计算框架，本文系统性地介绍了其关键原理和应用实践。主要内容包括：1. 框架概述：阐述MapReduce的定义、优缺点、核心思想及编程规范；2. 数据处理流程：详解InputFormat切片机制、Map阶段工作流程（含环形缓冲区与溢写）、Shuffle机制（分区/排序/合并）和Reduce阶段处理；3. 核心组件：分析Partitioner分区策略、WritableComparable排序、Combiner合并优化及OutputFormat输出控制；4. 高级应用：
2026-05-07 16:38:14
381
原创 SCP拷贝报错Permission denied
摘要：解决Hadoop分布式部署中SCP拷贝报"Permission denied"错误的方法。通过执行sudo chmod 777 文件或目录命令修改权限为可读可写可执行(777)，即可解决权限不足导致的SCP拷贝失败问题。注意操作时可能需要root权限，需添加sudo命令。该方案适用于非root用户环境下遇到的权限拒绝错误。
2026-04-22 11:28:15
26
原创 FineReport学习笔记之设计器下载、安装、卸载及安装时常见问题解决教程
FineReport设计器下载、安装、卸载及安装时常见问题解决教程
2025-03-08 21:18:09
2522
原创 MySql忘记root密码，修改root密码（纯图文教程，ERROR 1064， ERROR 1290）
MySql忘记root密码，修改root密码，ERROR 1064， ERROR 1290
2025-01-11 16:11:42
1623
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人