hadoop 集群搭建
文章平均质量分 80
天街小雨入江南
简单的,诚实的享受平凡。让数据回归本质
展开
-
Hadoop Federation HA部署
Hadoop Federation HA部署 为什么要部署联合命名空间? 大家都知道,hadoop集群的存储能力受限于namenode的内存,所以才会有所谓的小文件问题。在一些复杂的业务场景下,提高namenode性能成为了提高集群上限的有效途径。 HDFS Federation是 hdfs为了水平扩张namenode的存储性能,提供的多命名空间,基于Federation 搭建的集群在...原创 2018-08-27 10:53:39 · 302 阅读 · 0 评论 -
如何编译Hadoop
编译Hadoop 在集群搭建的过程中有时候我们需要自己来编译自己集群的hadoop,原因常常有两个,一是避免因集群环境不同造成的一些错误和警告,二是一些基于源码的改动。 编译步骤 1.安装jdk 解压jdk安装包到指定目录 执行:tar -zxvf jdk-8u171-linux-x64.tar.gz -C /cloud/java 配置环境变量 执行:vim /etc/...原创 2018-08-27 11:02:21 · 238 阅读 · 0 评论 -
如何准确计算Spark On Yarn资源消耗 - spark On Yarn内存计算
spark on yarn 内存计算 摘要:相信每个写spark 的 sparker 都有过 spark on yarn 的任务提交经历,或许在你集群资源够多的情况下,我们只关注分配的资源是否能另任务顺畅的跑起来,而不会去关注生成一个spark任务最终在yarn上面消耗了多少的资源。不过如果你的集群资源并没有多到任你挥霍的程度,这篇文章可以教你如何把集群资源了如指掌。 1.Continer数量计...原创 2019-03-13 15:21:55 · 5015 阅读 · 2 评论