一:本地模式配置
1.安装jdk,解压jdk到/opt/modules下
2.配置环境变量,修改/etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
3.解压hadoop到/opt/modules下
4.配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh,添加java环境变量
export JAVA_HOME=/opt/modules/jdk1.7.0_67
5.在$HADOOP_HOME下新建一个input文件夹
6.拷贝$HADOOP_HOME/etc/hadoop文件夹下的所有xml文件到$HADOOP_HOME/的input目录下
启动:
bin/hadoop
二:伪分布式配置
|.HDFS配置
1. 配置$HADOOP_HOME/etc/hadoop/core-site.xml,添加
<!--hdfs文件系统所在的主机-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-senior.ibeifeng.com1:8020</value>
</property>
<!--hadoop运行是的临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
2.配置$HADOOP_HOME/etc/hadoop/hdfs-site.xml,添加
<!--hdfs文件系统上默认存储的备份数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
3.配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh,修改java环境变量
export JAVA_HOME=/opt/modules/jdk1.7.0_67
格式化文件系统
$ bin/hdfs namenode -format
启动NameNode和DataNode
$ sbin/start-dfs.sh
停止NameNode和DataNode
$ sbin/stop-dfs.sh
||.YARN配置
1.配置$HADOOP_HOME/etc/hadoop/yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2.配置$HADOOP_HOME/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--resourcemanager节点的主机名-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-senior.ibeifeng.com1</value>
</property>
3.$HADOOP_HOME/etc/hadoop/yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
4.$HADOOP_HOME/etc/hadoop/yarn-site.xml
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--resourcemanager节点的主机名-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-senior.ibeifeng.com1</value>
</property>
5.$HADOOP_HOME/etc/hadoop/mapred-site.xml
<!--指定mapreduce在yarn上运行-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.$HADOOP_HOME/etc/hadoop/slaves
hadoop-senior.ibeifeng.com1
启动ResourceManager和NodeManager
$ sbin/start-yarn.sh
停止ResourceManager和NodeManager
$ sbin/stop-yarn.sh