Hadoop集群安装、扩容等操作

0 Hadoop集群机器配置

公司正式集群机子：内存32G存储24T，另有1块1T的本地盘

namenode和secondery namenode配Xeon E5-2640，24线程

其余节点配Xeon E5-2609，8线程

 

安装cdh 5u3

 

1 Hadoop集群安装

1.1 Hadoop环境配置

1.JDK安装配置

1）关闭防火墙：chkconfig iptables off   

2）vi /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled

3）修改主机名：vi /etc/sysconfig/network 

     NETWORKING= yes 网络是否可用

     HOSTNAME=xxxx xxxx为新设置的主机名

4）确保ssh服务开启，启动ssh命令:servicesshd start

5）从官网下载jdk包，解压出来（tar -xzvf jdk）

6）配置java环境

利用用root用户配置

vi /etc/profile 

在文件里添加： 
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71
export HADOOP_HOME=/software/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存完文件后，执行source /etc/profile使得配置能够生效

 

1.2 Hadoop文档配置

1.配置免密码登入设置(包含本机的免密登入)

1）生成密钥对命令 ssh-keygen -t rsa

2）修改hosts文件 vi /etc/hosts，在文件末追加以下内容（都是些host）

3）cat id_rsa.pub >> authorized_keys

  scp id_rsa.pubhd0001:/home/hdfs/.ssh/id_rsahd0002.pub

  cat id_rsahd0002.pub>> authorized_keys

4）执行ssh hd0001验证免密码登入是否成功

 

 

2.hadoop相关文档修改（可参见官网说明）

1）hadoop-env.sh

2）core-site.xml

3）hdfs-site.xml

4）mapred-site.xml

5）slaves

 

1.3 监控地址

http://jobtracker:8088/cluster/apps

http://namenode:50070/dfshealth.html

 

2 Hadoop增加新节点

2.1 格式化新盘

在每台机器上执行：

mkfs -t ext4 /dev/sdb

mkf