【地表最强】hadoop集群安装教程

集群规划

主机名	ip	安装的软件	进程
mini1	192.168.1.108
mini2	192.168.31.205
mini3	192.168.31.227
mini4	192.168.31.36

准备工作：（以下操作均在root用户下）

1、修改主机名(永久修改）

a. 修改/etc/sysconfig/network，在里面指定主机名称HOSTNAME=mini1

b. 然后执行命令： hostname mini1

c. 重启系统： reboot

2、关闭安全模式selinux：

a. 查看SELinux状态：

/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态

b. 关闭SELinux：

修改配置文件需要重启机器：

修改/etc/selinux/config 文件

将SELINUX=enforcing改为SELINUX=disabled

重启机器即可

3、关闭防火墙：

centos6.*

查看防火墙状态：service iptables status

chkconfig iptables off    #开机不启动防火墙服务

关闭所有主机的防火墙

service iptables stop

--------------------------------------------------------------

centos7.*

(默认是使用firewall作为防火墙，如若未改为iptables防火墙，使用以下命令查看和关闭防火墙)

查看防火墙状态：firewall-cmd --state

关闭防火墙：

systemctl stop firewalld.service

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

4、免密码登录：

a. cd /root/.ssh/（如果没有此目录，则执行命令：ssh localhost即可）

b. ssh-keygen -t rsa

这里都回车就ok，会在当前目录生成两个文件，一个公钥一个私钥，将公钥拷贝到其它机器上，实现免密码登录(这几步是在master上执行)

ssh-copy-id mini1

ssh-copy-id mini2

ssh-copy-id mini3

ssh-copy-id mini4

这样会在mini1的/root/.ssh/目录下生成一个authorized_keys 就可以实现master免登录到mini2,如下：

ssh mini2

5、配置hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 lcoalhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.31.231 mini1

192.168.31.205 mini2

192.168.31.227 mini3

192.168.31.36 mini4

6、安装JDK(软件统一安装到 /opt/software/ 目录下)

# 创建文件夹：

mkdir /opt/software

# 解压 /opt/software/jdk-8u11-linux-x64.tar.gz

tar -xzvf jdk-8u11-linux-x64.tar.gz

# 修改配置文件vim /etc/profile# 在最后下添加export JAVA_HOME=/opt/software/jdk1.8.0_11export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# 刷新配置文件source /etc/profile

7、安装hadoop

# 解压hadoop-2.7.5.tar.gz

tar -xzvf hadoop-2.7.5.tar.gz

# 进入目录：

cd /opt/software/hadoop-2.7.5/etc/hadoop

# 修改配置文件：hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8.0_11

# 修改配置文件： core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://mini1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/software/data/hdpdata</value>

</property>

</configuration>

# 修改配置文件： hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.secondary.http.address</name>

<value>mini2:50090</value>

</property>

</configuration>

# 修改配置文件：

执行命令：mv mapred-site.xml.template mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

#修改配置文件：yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>mini1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

# 拷贝配置完成的目录到其他主机

# 配置环境变量

vim /etc/profile

export HADOOP_HOME=/opt/software/hadoop-2.7.5

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 刷新环境变量

source /etc/profile

# 将 /etc/profile拷贝到其他主机，并分别刷新环境变量

# 格式化hdfs

hadoop namenode -format

#启动hadoop

启动namenode: hadoop-daemon.sh start namenode

访问mini1:50070(需要在windows本地配置hosts)

启动datanode: hadoop-daemon.sh start datanode

刷新页面，查看数据

分别开启其他几台机器的datanode