![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
linxiao84
这个作者很懒,什么都没留下…
展开
-
hadoop源码编译
在hadoop的官方网站,每个发行的版本都提供了 源码包 和 编译后的二进制发行包,那如何选择了?下载编译后的包,在系统上解压,设置配置文件后就可以直接使用,但在使用hadoop命名过程中,每次都会显示一个警告,如 hadoop fs -ls / WARN util.NativeCodeLoader: Unable to load native-hadoop library for you...原创 2016-01-07 00:03:15 · 128 阅读 · 0 评论 -
hadoop伪集群模式安装
hadoop可以在单个节点上,用伪分布的模式来运行hadoop的各个组件。 当前机器环境 操作系统:64 位 CentOS Jdk版本:1.7.0_79,64位jvm。 准备工作 1、 修改hosts 为了不需要记住冗长的ip地址,便于识别那个节点,我们修改下hosts,把当前内网ip地址对应成data-1, 用root用户修改 /etc/hosts文件,把...原创 2016-01-07 17:54:15 · 153 阅读 · 0 评论 -
YARN 和 MapReduce的内存分配公式
这个章节描述在指定的硬件节点上,如何配置YARN 和 MapReduce的内存分配设置。 YARN 考虑到了集群上每个机器的可用计算资源,在可用的资源上,YARN 负责处理运行在集群中应用(如MapReduce)的资源请求。YARN 通过分配的Containers为每个应用提供计算资源,在YARN中,一个 Container是基本的计算资源(processing capacity),并且它...原创 2016-01-12 11:30:56 · 315 阅读 · 0 评论 -
hadoop HA高可用性集群搭建
1、概述 这部分主要描述,在生产环境中,如何来搭建一个高可用性的hadoop集群。在hadoop集群中,NameNode是一个非常核心的组件,上面存储着所有文件的元数据信息,比如文件跟数据块的映射关系, 数据块跟集群中节点的映射关系等内容。一旦NameNode出现故障,整个集群将不可用。 NameNode的HA方案,是在一个集群中配置两个Nam...原创 2016-01-15 12:00:21 · 198 阅读 · 0 评论