hadoop
文章平均质量分 76
wjl7813
这个作者很懒,什么都没留下…
展开
-
Hadoop 伪分布式安装
( 1 ) 关闭防火墙 selinux 。 修改主机名解析 /etc/init.d/iptables stop chkconfig iptables off [root@hadoop home]# cat /etc/sysconfig/selinux | grep disabled # disabled - No SELinux policy is原创 2018-01-18 23:17:32 · 187 阅读 · 0 评论 -
CDH hadoop 编译
最好是 163.yum epel.repo 的yum 资源 准备工作yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/maven/maven-3/3.3.9/binaries/apac原创 2018-01-18 23:20:13 · 387 阅读 · 0 评论 -
5节点 Hadoop +zookeeper 完全分布式集群(HA)
主机 信息规划 master slave1 slave2 slave3 slave4 namenode 是 是 否 否 否 datanode 否 否 是 是 是 resourcemanager 是 是 否 否 否 journalnode 是 是 是 是 是 zookeeper 是 是 是 是 是 软件规划 软件 版本原创 2018-01-28 00:15:30 · 526 阅读 · 0 评论 -
YARN的内存和CPU配置
Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定的内存以及CPU资源。在YARN集群中,平衡内存、CPU、磁盘的资源的很重要的,根据经验,每两个co...转载 2018-04-16 20:16:06 · 292 阅读 · 0 评论