Hadoop集群搭建

CentOS 7

1，重启系统：reboot
2，修改主机名称：
可能要切换到root用户,修改后要重启系统
vi /etc/hostname
修改系统为静态ip
/etc/sysconfig/network-scripts/ifcfg-ens32
BOOTPROTO修改为static（设置静态）
ONBOOT=yes 该设置改为yes 开机启动，避免开启重复修改
IPADDR=192.168.200.171 该设置为更改ip地址
PREFIX=24 该设置为更改子网掩码，24意味255.255.255.0
GATEWAY=192.168.208.2 该设置为更改默认网关
DNS1=114.114.114.114 该设置为更改DNS

重启网络服务：service network restart
关闭防火墙：
Centos 7:
临时关闭systemctl stop firewalld
禁止开机启动systemctl disable firewalld
CentOS 6:
临时关闭service iptables stop
禁止开机启动chkconfig iptables off
重启系统

3，配置jdk：
1)使用winscp jdk.tar.gz -->上传到 /opt/software
2)前期准备：检查是否有安装后jdk java -version ,如果有查jdk的路径 which java已经系统安装过：修改系统jdk的配置 mv /usr/bin/java /usr/bin/java_backup

3)解压jdk7.tar.gz
tar -zxvf jdk7.tar.gz [-C 目标路径]
4)删除jdk7.tar.gz ,重命名jdk的文件夹为jdk7
mv jdk-7u/jdk1.7 jdk1.7 (重命名)
5)配置环境变量（vi /etc/profile）
export JAVA_HOME=/opt/software/jdk1.7
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

注意：使用冒号分隔，以上信息放到最后面

6)使环境变量生效
source /etc/profile

7）测试
java -version
which java
4，配置ip映射：
需配置上其他节点的地址及系统名称
命令：vi /etc/hosts
添加以下信息：
192.168.200.171 hadoop01
192.168.200.172 hadoop02
192.168.200.173 hadoop03
（可能涉及到修改权限问题：切换到root用户添加修改sudoers 。命令为vi /etc/sudoers，修改内容为：admin ALL=(ALL) NOPASSWD=ALL。再次切到普通用户，使用sudo vi /etc/hosts即可）
5，安装Hadoop及配置环境变量（雷同jdk）
1）tar -zxvf hadoop的安装包
配置hadoop
同jdk命令vi /etc/profile，再打开的文件中添加一下信息
export PATH=$PATH:$JAVA_HOME/bin:
export HADOOP_HOME=/opt/software/hadoop-2.7.7
注：
$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
这里是加在jdk之后的path，纯hadoop为空格后，“:”分隔
2)使环境变量生效
source /etc/profile
3）测试
hadoop version
6，配置公私密钥SSH
1），查看是否安装ssh
rpm -qa |grep ssh 运行后

2），查看ssh服务是否启动
service sshd status

有以上红框相同信息证明已经启动
3）生成公钥和私钥
ssh-keygen -t rsa 注：命令运行后，只回车就行

出现这个基本成功。

将jdk的Java_home 配置到hadoop-2.7.7/etc/hadoop/hadoop-env.sh
配置core-site.xml，hdfs-site.xml等配置文件