centos下hadoop安装

系统：Centos

单机Hadoop系统安装。

首先需要安装JDK，建议不使用openJDK，网上教程很多，这里贴出一个个人觉得挺好的一个。建议记住java的安装地址，方便后面配置环境变量。

OpenJDK的卸载以及OracleJDK的安装

之后配置SSH，可能会出现ssh失效的情况。就个人使用经验而言，Ubutun下出现配置成功，一段时间后仍然需要输入密码的情况。但是CentOs下目前没有出现过这样的情况。

在没有为Hadoop新建用户的情况下，ssh免密登陆会出现失败的情况，建议为hadoop新建用户，为hadoop用户配置ssh免密登陆，这个时候一般而言肯定会成功。也给出一个网上挺好的教程。

ssh免密登陆

上面教程的ssh安装方式在Centos下需要改为yum install。

之后为Hadoop的安装过程。

1.首先新建用户组以及用户

在这里新建用户用户组，也就意味着应当这一步之后再设置ssh免密登陆。

//root用户下
# groupadd hadoop-user     //新建用户组hadoop-user
# useradd -g hadoop-user -d /home/hadoop hadoop //将用户hadoop添加到用户组hadoop-user中，
                                                //并将其主目录设置为/home/hadoop
# passwd hadoop //设置登陆密码

2.解压安装Hadoop

去官网下载对应版本的hadoop

Hadoop官网

我个人习惯在主目录/home/hadoop下新建目录hadoop_installs/用以安装hadoop.

Notices:需要进入hadoop用户安装hadoop。

当然了，所谓安装其实也就是解压一下。

3.配置环境变量

1.进入hadoop用户下
# su - hadoop //注意，此处你是管理员用户，其次中间有‘-’。
2.编辑
vi ~/.bash_profile
3.设置环境变量
PATH=$PATH:$HOME/bin
export JAVA_HOME=...  //你的Java目录例如/usr/java/java-1.6.0
export HADOOP_HOME=... //你的hadoop目录,例如/home/hadoop/hadoop_installs/hadoop-0.20.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export CLASSPATH=$JAVA_HOME/lib:. 

4.修改Hadoop配置文件，以及调试。

推荐阅读另一篇博文吧，但是注意配置的时候，需要将安装目录对应上。

hadoop安装，后续内容可以参考这里。

注意：：：：hadoop-env.sh

5.后面IDEA配置，jar包提交等，推荐一个内容。

点这里。

 

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2019/1/16更新

启动hadoop，提交jar包，开始任务。这个时候登陆localhost:8088，如果发现界面没有上传到任务的信息，就可能需要进行下面的配置：

mapred-site.xml，添加：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

yarn-site.xml，添加：

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

这个时候就可以看到啦。

也可能需要在mapred-site.xml中添加：

    <property>
		<name>mapreduce.cluster.local.dir</name>
		<value>/usr/local/hadoop/mapred/local</value>
	</property>
	<property>
		<name>mapreduce.jobtracker.system.dir</name>
		<value>/usr/local/hadoop/mapred/system</value>
	</property>

终！