0 Hadoop集群机器配置
公司正式集群机子:内存32G存储24T,另有1块1T的本地盘
namenode和secondery namenode配Xeon E5-2640,24线程
其余节点配Xeon E5-2609,8线程
安装cdh 5u3
1 Hadoop集群安装
1.1 Hadoop环境配置
1.JDK安装配置
1)关闭防火墙:chkconfig iptables off
2)vi /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled
3)修改主机名:vi /etc/sysconfig/network
NETWORKING= yes 网络是否可用
HOSTNAME=xxxx xxxx为新设置的主机名
4)确保ssh服务开启,启动ssh命令:servicesshd start
5)从官网下载jdk包,解压出来(tar -xzvf jdk)
6)配置java环境
利用用root用户配置
vi /etc/profile
在文件里添加:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71
export HADOOP_HOME=/software/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
保存完文件后,执行source /etc/profile使得配置能够生效
1.2 Hadoop文档配置
1.配置免密码登入设置(包含本机的免密登入)
1)生成密钥对命令 ssh-keygen -t rsa
2)修改hosts文件 vi /etc/hosts,在文件末追加以下内容(都是些host)
3)cat id_rsa.pub >> authorized_keys
scp id_rsa.pubhd0001:/home/hdfs/.ssh/id_rsahd0002.pub
cat id_rsahd0002.pub>> authorized_keys
4)执行ssh hd0001验证免密码登入是否成功
2.hadoop相关文档修改(可参见官网说明)
1)hadoop-env.sh
2)core-site.xml
3)hdfs-site.xml
4)mapred-site.xml
5)slaves
1.3 监控地址
http://jobtracker:8088/cluster/apps
http://namenode:50070/dfshealth.html
2 Hadoop增加新节点
2.1 格式化新盘
在每台机器上执行:
mkfs -t ext4 /dev/sdb
mkf