CentOS 7 Hadoop安装配置

前言：我使用了两台计算机进行集群的配置，如果是单机的话可能会出现部分问题。首先设置两台计算机的主机名 root 权限打开/etc/host文件

再设置hostname,root权限打开/etc/hostname文件设置

从机设为Slaver.Hadoop

1.安装java jdk 并配置环境

　　centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk

　　在命令行模式下健入命令：yum remove java (root用户，非root用户请在命令前加sudo).

　　接下来安装jdk并配置环境,到网上下载jdk的rpm包，使用命令：rpm -ivh jdk-......;

　　配置jdk环境：

　　root用户打开/etc/profile文件 在文件末尾添加jdk路径类似下面的配置，只需注意jdk版本即可

　　

　　上面一部分为java环境变量，后面为hadoop变量，等会用得上。

2.安装hadoop并配置环境。　

　　到Apache网站下载hadoop-2.6.0版本.

　　解压文件：　tar -xvf hadoop-2.6.0.tar.gz (解压到需要安装的路径，或者到时候再设定路径)

　　进入解压后的目录，到hadoop-2.6.0/etc/hadoop/路径下找到下面几个配置文件

　　

　　core.site.xml:

　　

　　hdfs-site.xml

　　

　　mapred-site.xml.template

　　

　　hadoop-env.sh

　　

　　slaves

　　 192.168.1.126  从机ip

　　到此配置完成，启动参照网上的教程。

　　/hadoop-2.6.0/bin/hadoop namenode -format

　　/hadoop-2.6.0/sbin/start-all.sh

　　完成。

　　注意：启动前需要将两台计算机的防火墙关闭：sudo systemctl stop iptables.service

3.安装配置hadoop eclipse 插件

　　下载hadoop eclipse 插件，将其放入eclipse 文件夹的plugins文件夹中,启动eclipse.

　　eclipse window->open persperctive->other->

　　

　　分别打开Map/Reduce 和 Resource 。然后到eclipse中新建M/R项目，找到wordcount.java源代码执行，

　　eclipse中run as configuertion 设置参数：

　　

　　eclipse中项目目录：

　　

　　执行结果：

　　

　　

　　

转载于:https://www.cnblogs.com/chenshungen/p/4379389.html