系统:Centos
单机Hadoop系统安装。
首先需要安装JDK,建议不使用openJDK,网上教程很多,这里贴出一个个人觉得挺好的一个。建议记住java的安装地址,方便后面配置环境变量。
之后配置SSH,可能会出现ssh失效的情况。就个人使用经验而言,Ubutun下出现配置成功,一段时间后仍然需要输入密码的情况。但是CentOs下目前没有出现过这样的情况。
在没有为Hadoop新建用户的情况下,ssh免密登陆会出现失败的情况,建议为hadoop新建用户,为hadoop用户配置ssh免密登陆,这个时候一般而言肯定会成功。也给出一个网上挺好的教程。
上面教程的ssh安装方式在Centos下需要改为yum install。
之后为Hadoop的安装过程。
1.首先新建用户组以及用户
在这里新建用户用户组,也就意味着应当这一步之后再设置ssh免密登陆。
//root用户下
# groupadd hadoop-user //新建用户组hadoop-user
# useradd -g hadoop-user -d /home/hadoop hadoop //将用户hadoop添加到用户组hadoop-user中,
//并将其主目录设置为/home/hadoop
# passwd hadoop //设置登陆密码
2.解压安装Hadoop
去官网下载对应版本的hadoop
我个人习惯在主目录/home/hadoop下新建目录hadoop_installs/用以安装hadoop.
Notices:需要进入hadoop用户安装hadoop。
当然了,所谓安装其实也就是解压一下。
3.配置环境变量
1.进入hadoop用户下
# su - hadoop //注意,此处你是管理员用户,其次中间有‘-’。
2.编辑
vi ~/.bash_profile
3.设置环境变量
PATH=$PATH:$HOME/bin
export JAVA_HOME=... //你的Java目录例如/usr/java/java-1.6.0
export HADOOP_HOME=... //你的hadoop目录,例如/home/hadoop/hadoop_installs/hadoop-0.20.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export CLASSPATH=$JAVA_HOME/lib:.
4.修改Hadoop配置文件,以及调试。
推荐阅读另一篇博文吧,但是注意配置的时候,需要将安装目录对应上。
注意::::hadoop-env.sh
5.后面IDEA配置,jar包提交等,推荐一个内容。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2019/1/16更新
启动hadoop,提交jar包,开始任务。这个时候登陆localhost:8088,如果发现界面没有上传到任务的信息,就可能需要进行下面的配置:
mapred-site.xml,添加:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml,添加:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
这个时候就可以看到啦。
也可能需要在mapred-site.xml中添加:
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/usr/local/hadoop/mapred/local</value>
</property>
<property>
<name>mapreduce.jobtracker.system.dir</name>
<value>/usr/local/hadoop/mapred/system</value>
</property>
终!