- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop TeraGen 调优：并行度与压缩的博弈——5GB 数据实测分析
本文通过实验分析了Hadoop TeraGen在5GB数据场景下开启Snappy压缩的性能影响。测试表明：在2-8个Map的最优并行度区间，压缩反而可能降低性能（如8Map时慢11秒），因压缩的CPU开销抵消不了I/O收益；但当Map数过多（16-40个）时，压缩能缓解I/O压力，提升性能（如40Map快24.5秒）。实验还解释了"先卡顿后顺畅"现象源于压缩器初始化延迟。结论建议：小数据量优先不压缩+4-8Map；大数据量压缩更优。调优需平衡并行度、I/O和CPU开销。
2026-06-09 20:11:38
342
原创 HDFS 孤立块排查与清理实战
HDFS集群出现数据分布不均问题，排查发现slavel1节点存在大量孤立块，占用额外空间。通过编写自动化脚本，识别并清理这些孤立块，解决了数据倾斜问题。文章分享了排查过程、脚本编写中的常见陷阱（如set -e和ssh输入冲突）及解决方案，强调了HDFS运维中定期检查、安全操作和自动化处理的重要性。最终集群恢复均衡状态，验证了"一荣俱荣"原则。
2026-06-08 17:33:41
463
原创 Hadoop TeraGen 性能调优：如何选择最佳的 Map 数量？（附 5GB 实测数据）
摘要： Hadoop TeraGen性能测试表明，Map数量并非越多越好。在3节点集群上测试5GB数据（5000万条记录），当Map数量从2增加到8时，耗时稳定在约65秒；但超过16时，性能急剧下降，GC时间和调度开销显著增加。最佳Map数量为4~8个，过多Map会导致固定开销累积、GC压力和资源争用。调优建议包括从小规模开始试探、考虑硬件限制、避免盲目遵循经验公式。测试结论：性能调优需在资源、数据量和任务开销间找到平衡点。
2026-06-08 17:28:21
358
原创 混合云大数据平台搭建血泪史：从Spark到Sqoop，彻底打通本地集群与云端HDFS
本文记录了本地Spark集群与云端HDFS混合部署的实践过程，重点解决公网环境下Connection refused和UnresolvedAddressException问题。通过三节点本地集群（Spark+Hive+ZK）与云端单节点HDFS的组合，实现计算存储分离。关键方案包括：CLB转发NameNode RPC端口、ECS公网直连DataNode、最小Hadoop客户端安装保障Hive/Sqoop兼容性。文中详细提供了集群搭建步骤、网络拓扑设计及故障排查方法，为混合云大数据架构提供了可复用的实践办法。
2026-05-19 19:13:38
894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人