hadoop三种环境模式的搭建

Hadoop 2.X的安装与配置

1、Hadoop的安装模式：

（1）本地模式

（2）伪分布模式

（3）全分布模式

2、虚拟机：tanzhou111

准备工作：关闭防火墙、安装JDK、设置主机名

tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

设置环境变量： vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.7.3

export HADOOP_HOME

 

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

生效：source ~/.bash_profile

3、本地模式

（1）特点：不具备HDFS的功能，只能测试MapReduce程序（处理的是Linux的文件）

（2）配置：hadoop-env.sh

export JAVA_HOME=/root/training/jdk1.8.0_144

（3）Demo：例子：/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt ~/output/wc0906

4、伪分布模式：一台

（1）特点：在单机上模拟一个分布式的环境

HDFS: 主节点 NameNode 从节点：DataNode（一个） SecondaryNameNode

Yarn: 主节点 ResourceManager 从节点 NodeManager（一台）

具备Hadoop的所有功能，开发测试阶段

（2）配置：

hadoop-env.sh

26 export JAVA_HOME=/root/training/jdk1.8.0_144

hdfs-site.xml

<!--配置数据块的冗余度-->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<!--关闭HDFS的权限检查-->

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/root/training/hadoop-2.7.3/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/root/training/hadoop-2.7.3/data</value>

</property>

core-site.xml

<!--配置NameNode地址-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<!--配置数据在Linux上保存的位置-->

<property>

<name>hadoop.tmp.dir</name>

<value>/root/training/hadoop-2.7.3/tmp</value>

</property>



<!--网上文档 配置job history相关配置

在mapred-site.xml文件中添加如下 配置：（需要改为自己服务器ip 或 主机名hostname）-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

vi mapred-site.xml

<!--MR运行的框架-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

yarn-site.xml

<!--yarn的主节点 RM-->

<property>

<name>yarn.resouremanager.hostname</name>

<value>master</value>

</property>

<!--NodeManager运行MR程序方式-->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

（3）对HDFS进行格式化

 命令 ：  hdfs namenode -format

日志：

17/09/06 22:24:53 INFO common.Storage: Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

（4）启动: start-all.sh = start-dfs.sh + start-yarn.sh

网页管理界面端口说明：

mapreduce管理界面：http://localhost:8088

NameNode界面：http://localhost:50070

HDFS NameNode界面：http://localhost:8042