1. 安装虚拟机配置网络, 本教程是基于centos下进行的
2.改Hadoop节点的名字
sudo vi /etc/sysconfig/network
3.将节点名字和ip地址进行映射
sudo vi /etc/hosts
192.168.2.201 weekend110
4. 安装jdk
#解压,将jdk解压到app目录中
tar -zxvf jdk-7u55-linux-i586.tar.gz -C app/
sudo vi /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
5.安装hadoop
进入etc下修改配置
a.
vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_65
b.
vi core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend110:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value> //所有的数据都放在tmp下的
</property>
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend110:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value> //所有的数据都放在tmp下的
</property>
c.
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
d.
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml 资源调用的一些配置
<!-- 指定YARN集群的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend110</value>
</property>
<!-- reducer获取数据的方式,nodemanage是yarn里面的重节点 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
注意:
6.
配置完之后,还有一些要做,因为hadoop都是一些网络程序,namenode,datanode都是网络服务,这些服务会被linux防火墙关掉,方法一,将linux中hadoop用到的端口都打开,或者把防火墙关闭就可以了
防火墙是一个服务,把这个服务关掉就可以了
sudo service iptables status
关掉防火墙
sudo service iptables stop
因为它是一个自启服务,再次启动还会打开,所以要把自启动服务给关掉,不让它自启
查看状态
sudo chkconfig iptables --list
7.
将hadoop添加到环境变量中
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8.格式化文件系统
hadoop namenode -format
9.进入到sbin目录启动hadoop
start-dfs.sh