Hadoop入门进阶
文章平均质量分 92
Hadoop相关组件、调优内容
Fang GL
力争成为全栈领域,优质创作者!
展开
-
通过WordCount案例深入理解MapReduce的实现过程
- MrAppMaster:负责整个程序的过程调度和状态协调 - MapTask:负责Map阶段的整个数据处理流程 - ReduceTask:负责Reduce阶段的整个数据处理过程原创 2022-08-26 14:09:52 · 765 阅读 · 0 评论 -
Hadoop,Spark,Tez的区别与联系
本文主要介绍,三种计算引擎的的各自优势,与区别,可以帮助你在学习过程中解决学习中的疑惑!原创 2022-08-27 09:44:18 · 1761 阅读 · 0 评论 -
Hadoop的生成经验调优和基准测试
HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定,其默认值为file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘,必须对该参数进行修改。数据统计主要用HiveSQL,没有数据倾斜,小文件已经做了合并处理,开启的JVM重用,而且IO没有阻塞,内存用了不到50%。但是还是跑的非常慢,而且数据量洪峰过来时,整个集群都会宕掉。,注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。原创 2023-02-24 20:34:52 · 1640 阅读 · 0 评论