Yarn
MrZhangBaby
世界上并没有完美的程序,
但我们并不因此而沮丧,
因为写程序本来就是一个不断追求完美的过程。
你可以不够优秀,但不要甘于平凡。
展开
-
yarn的web界面上显示节点异常unhealthy
错误截图解决方案暂无,后续更新...原创 2020-04-01 17:21:49 · 797 阅读 · 0 评论 -
浅谈大数据组件之hadoop中yarn
yarn Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。专业术语解释: YARN的基本思想是将JobTracker的两...转载 2018-12-18 15:41:29 · 376 阅读 · 0 评论 -
mac上运行打包程序报Mkdirs failed to create /var/folders/6c/mj93yj2x3z71ps5p99s9htc00000gn/T/hadoop-unjar3499
写测试程序的时候发现了一个问题,就是使用mac打包完的程序,报错如下:其实内容很简单,就是对一个MR wordcount程序,代码稍后贴,先说下这个问题如何解决:zip -d /Users/zhangchenguang/Desktop/HadoopPro-0.0.1-SNAPSHOT-jar-with-dependencies.jar META-INF/LICENSE然后就可以...原创 2019-04-23 11:15:59 · 688 阅读 · 0 评论 -
spark shuffle 详解
众所周知,大数据领域相关问题,无非就是 大数据存储和分布式计算。Hadoop有HDFS和MapReduce计算引擎,但是MapReduce用于批处理,相对来说处理大数据集是强项,并且所依赖的机器配置方面要求较低。而慢慢的被后期之秀spark给取缔,我认为两者的核心区别是 MapReduce不支持迭代计算,而spark支持,其实都是批处理的方式进行大数据的存储,spark没有大数据存...原创 2019-03-08 14:13:40 · 347 阅读 · 0 评论 -
MapReduce哪些事儿
上节分享了HDFS那些事儿,接着我们来说一下经典的Hadoop1和引入完Yarn以后的Hadoop2.0+,为什么要引入Yarn这一资源调度器,有什么作用和好处,请往下看~MapReduce模型MapReduce概括:MapReduce 是一种分布式编程模型,采用“分而治之”的思想,将一个大规模数据集分解为多个小规模数据,然后分发给集群中多个节点共同完成计算。这样可以有效降低每一部...原创 2019-08-02 23:32:16 · 184 阅读 · 0 评论 -
YARN中资源调度器的那些事儿
YARN中资源调度器的那些事儿,接上次Yarn的那些事儿,来扯一下调度器...YARN三种资源调度器理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有...原创 2019-08-02 23:52:47 · 790 阅读 · 0 评论 -
hive任务优化-Current usage: 2.0 GB of 2 GB physical memory used; 4.0 GB of 16.2 GB virtual memory used.
目录错误背景错误信息定位client端日志APPlication日志map和reduce单个错误日志错误分析解决方案1. 取消虚拟内存的检查(不建议):2.增大mapreduce.map.memory.mb 或者 mapreduce.reduce.memory.mb(建议)3.适当增大 yarn.nodemanager.vmem-pmem-ratio的大小...原创 2020-03-26 12:01:04 · 3960 阅读 · 0 评论