目录
一、Hadoop平台搭建
1.首先需要解压安装包,
因为提前知道了安装位置,并已经进行解压,就直接展示,解压命令是tar -zxvf +文件名字
2.配置hadoop环境变量
gedit /home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh(注意路径也就是当前目录) 在文件的前面找到“export JAVA_HOME={JAVA_HOME}”将其修改为实际的JDK安装路径
3.配置Yarn环境变量文件
gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-env.sh
在文件的前面部份找到“# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ ”
将其改为“export JAVA_HOME=/usr/java/jdk1.7.0_71/”编辑完毕保存退出即可
4.配置核心组件文件
gedit /home/csu/hadoop-2.6.0/etc/hadoop/core-site.xml
需要将下面的配置代码放在文件的<configuration>和</configuration>之间
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/csu/hadoopdata</value>
</property>
</configuration>
编辑完毕保存退出即可
5.配置文件系统
gedit /home/csu/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
需要将下面的代码填充到文件的<configuration>和</configuration>之间
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
编辑完毕保存退出即可
6.配置yarn-site.xml文件
gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-site.xml
将下面的代码填充到文件的<configuration>和</configuration>之间
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master0:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master0:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master0:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master0:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master0:18088</value>
</property>
编辑完毕保存退出即可
7.配置MapReduce计算框架文件
cp /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template
/home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml
然后编辑这个文件
gedit /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml
将下面代码填充到文件的<configuration>和</configuration>之间
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
编辑完毕保存退出即可
8.配置master的slaves文件
gedit /home/csu/hadoop-2.6.0/etc/hadoop/slaves
根据自己搭建的实际情况进行编辑,现在只安装一个从节点slave0,就在里面输入内容
slave0
9.复制master上的Hadoop到Slave节点
有几个从节点就要复制几次,现在只有一个slave0从节点,就复制一次
二、Hadoop启动
1.格式化系统
1.配置Linux系统的环境变量
gedit ~/.bash_profile
在这个文件的尾部追加下面的代码:
#HADOOP
export HADOOP_HOME=/home/csu/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
保存退出后执行“source ~/.bash_profile”命令,使修改后的配置生效。
(同时也要在其他节点进行上述配置)
2.格式文件系统命令
hdfs namenode -format
注意:要想启动hadoop必须开启从节点。
2.启动和关闭hadoop
切换到hadoop目录下
sbin/start-all.sh (启动)
sbin/stop-all.sh (关闭)
jps
执行jps查看进程,如果有四个进程:
SecondaryNameNode、ResourceManager、NameNode和Jps
则表明主节点启动成功
从节点上执行jps,看到有NodeManager、Jps和DataNode
三个进程表示从节点也安装成功