Hadoop安装
- 一.打开MobaXterm(前提:把虚拟机要打开)
- 二.输入`cd software`来到software目录下,导包,找到下面框选出的两个压缩文件,复制到software目录下,如下图所示
- 三.输入`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz`对hadoop安装包进行解压,然后回车一顿解压
- 四.但名字太长,我们可以将它改个名字
- 五.输入`cd hadoop`,进入hadoop目录下,
- 六.输入`vi hadoop-env.sh`,然后回车,进入配置文件,找到`export JAVA_HOME=${JAVA_HOME}`,将这一行注释掉,也就是在前面输入一个#号
- 七.输入`vi core-site.xml`,然后回车进入配置文件
- 八.输入`vi hdfs-site.xml`,然后回车进入配置文件
- 九.输入`vi mapred-site.xml.template`,然后回车进入配置文件
- 十.输入` mv mapred-site.xml.template mapred-site.xml`,修改一下名字
- 十一.输入`vi /etc/profile`,配置环境变量
- 十二.配置文件都已经修改好
- 十三.输入`cd ../..`,回到software目录下的hadoop
- 十四.输入`start-all.sh`,启动hadoop,然后回车,等待片刻,遇到需要回答的问题,输入yes,然后回车
- 十五.输入`jps`,然后回车
- 十六.这时候我们就可以通过前台去访问hadoop的页面了
一.打开MobaXterm(前提:把虚拟机要打开)
二.输入cd software
来到software目录下,导包,找到下面框选出的两个压缩文件,复制到software目录下,如下图所示
三.输入tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
对hadoop安装包进行解压,然后回车一顿解压
解压完成后,可以输入ll
查看当前文件,有一个hadoop-2.6.0-cdh5.14.2,说明解压成功
四.但名字太长,我们可以将它改个名字
输入 mv hadoop-2.6.0-cdh5.14.2 hadoop
,然后回车,输入ll,可以查看一下名字是否改成功
输入 rm -f hadoop-2.6.0-cdh5.14.2.tar.gz
,然后回车,把tar.gz文件删掉
五.输入cd hadoop
,进入hadoop目录下,
再输入cd etc/hadoop
,进入etc目录下的hadoop目录
六.输入vi hadoop-env.sh
,然后回车,进入配置文件,找到export JAVA_HOME=${JAVA_HOME}
,将这一行注释掉,也就是在前面输入一个#号
在下一行接着输入export JAVA_HOME=/root/software/jdk1.8.0_221
输完以后,按ESC键保存,然后输入:x
或者:wq
退出配置文件
(/root/software/jdk1.8.0_221
是我的jdk所在目录,如果小伙伴萌不知道的话,可以新打开一个窗口,输入echo $JAVA_HOME
,回车之后就可以看到自己jdk所在目录,直接复制过来就可)
七.输入vi core-site.xml
,然后回车进入配置文件
找到<configuration></configuration>
标签,在这两个标签中间输入以下代码(这里我的虚拟机名是hadoop22,大家根据自己的来输入)
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop22:9000</value>
</property>
<!-- 配置临时文件所在目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/software/hadoop/tmp</value>
</property>
<!-- 以下可配可不配,如果配集群则必须要配 -->
<!-- 任意主机的任意用户都可以访问,root用户的任意组都可以访问 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
效果图如下所示
输完以后,按ESC键保存,然后输入:x
或者:wq
退出配置文件
八.输入vi hdfs-site.xml
,然后回车进入配置文件
找到<configuration></configuration>
标签,在这两个标签中间输入以下代码
<!-- 配伪分布式的数据备份数目 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
效果图如下所示
输完以后,按ESC键保存,然后输入:x
或者:wq
退出配置文件
九.输入vi mapred-site.xml.template
,然后回车进入配置文件
找到<configuration></configuration>
标签,在这两个标签中间输入以下代码
<!-- 配置用yarn来管理mapreduce-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
效果图如下所示
输完以后,按ESC键保存,然后输入:x
或者:wq
退出配置文件
十.输入mv mapred-site.xml.template mapred-site.xml
,修改一下名字
然后输入vi yarn-site.xml
,然后回车进入配置文件
找到<configuration></configuration>
标签,在这两个标签中间输入以下代码(温馨提示:这里我的虚拟机名是hadoop22,大家根据自己的来输入)
<!-- reducer获取数据方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop22</value>
</property>
效果图如下所示
输完以后,按ESC键保存,然后输入:x
或者:wq
退出配置文件
十一.输入vi /etc/profile
,配置环境变量
找到 export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
语句,在它下方输入如下代码,最后一行代码在原来的基础上修改即可(温馨提示:这里我的hadoop目录在root目录下的software下,大家根据自己的来输入)
export HADOOP_HOME=/root/software/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH