- 博客(14)
- 收藏
- 关注
原创 Hadoop 学习笔记之参数调优手册
本文详细介绍了Hadoop HDFS的核心参数配置、集群性能优化及故障处理方法。主要内容包括:1)NameNode内存配置与心跳并发优化;2)HDFS集群压测方法,包括读写性能测试;3)集群扩容缩容操作,如白名单/黑名单管理、数据均衡;4)存储优化方案,如纠删码和异构存储技术;5)常见故障排查指南;6)MapReduce性能调优参数;7)小文件处理策略。通过实际案例展示了从1G数据统计词频的完整调优过程,涉及HDFS、MapReduce和Yarn的参数配置优化。
2026-05-13 15:10:38
321
原创 Hadoop 学习笔记之 Yarn
Yarn资源调度器是Hadoop的核心组件,负责集群资源管理和任务调度。其核心架构包括ResourceManager、NodeManager、ApplicationMaster和Container。Yarn支持三种调度器:FIFO、Capacity和Fair。通过配置yarn-site.xml等文件,可以调整队列资源分配、容器内存等参数。实际案例展示了如何配置多队列资源分配、任务优先级设置以及公平调度器的队列规则。此外,通过实现Tool接口,开发者可以创建支持动态参数的自定义MapReduce程序
2026-05-10 13:16:32
357
原创 Hadoop 学习笔记之 MapReduce
MapReduce是Hadoop的核心分布式计算框架,本文系统性地介绍了其关键原理和应用实践。主要内容包括:1. 框架概述:阐述MapReduce的定义、优缺点、核心思想及编程规范;2. 数据处理流程:详解InputFormat切片机制、Map阶段工作流程(含环形缓冲区与溢写)、Shuffle机制(分区/排序/合并)和Reduce阶段处理;3. 核心组件:分析Partitioner分区策略、WritableComparable排序、Combiner合并优化及OutputFormat输出控制;4. 高级应用:
2026-05-07 16:38:14
381
原创 SCP拷贝报错Permission denied
摘要:解决Hadoop分布式部署中SCP拷贝报"Permission denied"错误的方法。通过执行sudo chmod 777 文件或目录命令修改权限为可读可写可执行(777),即可解决权限不足导致的SCP拷贝失败问题。注意操作时可能需要root权限,需添加sudo命令。该方案适用于非root用户环境下遇到的权限拒绝错误。
2026-04-22 11:28:15
26
原创 FineReport学习笔记之设计器下载、安装、卸载及安装时常见问题解决教程
FineReport设计器下载、安装、卸载及安装时常见问题解决教程
2025-03-08 21:18:09
2522
原创 MySql忘记root密码,修改root密码(纯图文教程,ERROR 1064, ERROR 1290)
MySql忘记root密码,修改root密码,ERROR 1064, ERROR 1290
2025-01-11 16:11:42
1623
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅