前言
之前尝试过使用Ambri安装HDFS集群,整个搭建的流程应该是记录的比较详细的,重新把资料整理了一下发布到博客,希望可以帮到有需要的人吧。
环境准备
以下操作使用root用户执行:
1. 关闭防火墙
chkconfig iptables off
service iptables stop
chkconfig --list iptables
2. 关闭SElinux
vi /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
3. 配置hostname
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node100.aries.com(使用FQDN命名方式)
4. 配置hosts文件
vi /etc/hosts
192.168.6.100 node100.aries.com
192.168.6.101 node101.aries.com
5. SSH配置
ssh-keygen -t rsa
ssh-copy-id node101.aries.com
# 尝试无密码连接从节点
ssh node101.aries.com
6. 修改YUM源
# 改用阿里云镜像站点
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bk
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
yum makecache
7. 安装JDK并修改环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
8. 安装并开启NTP服务(确保集群内部时钟统一)
yum install -y ntp
chkconfig --list ntpd
chkconfig ntpd on
service ntpd start
9. 关闭Linux的THP服务
如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。
关闭transparent_hugepage方法是:
vi /etc/grub.conf
添加 transparent_hugepage=never
vi /etc/rc.local
添加:
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0
以上的环境配置是最基本的,每个节点都需要的配置。可以做一备份节点,用于将来创建子节点克隆使用,减少重复工作。当然克隆后还有小的调整,比如要重新配置hostname,修改hosts文件,配置SSH无密码登录等。
安装Ambari集群
1. 制作本地源
制作本地源是因为在线安装Ambari太慢。制作本地源只需在管理节点上进行。
配置HTTP 服务
配置HTTP 服务到系统层使其随系统自动启动
chkconfig httpd