hadoop安装部署的三种模式:
单机模式(本地模式):hadoop的默认配置模式,此时:
1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。
2)不会启动任何hadoop守护进程,map任务和reduce任务作为同一个进程的不同部分来执行。
3)仅用于开发或调试MapReduce应用程序。
4)当首次解压hadoop的源码包时,默认选择了最低的配置。这时,三个xml文件均为空,当配置文件为空时,hadoop会完全运行在本地。
伪分布式模式:
1)所有的进程都运行在同一台机器上。
2)使用分布式文件系统,每个hadoop守护进程都是一个独立的进程。
3)每个job都是由JobTracker服务管理的独立的进程。
4)集群中只有一个节点,故HDFS的块复制将限制为单个副本。
5)secondary-master和slaves也都将运行于本地主机。
6)程序的执行逻辑和分布式模式下的执行逻辑一样,因此,常用于测试。
7)该模式在本地模式的基础上添加了代码的调试功能,允许你检查内存的使用情况、HDFS输入输出、其它的守护进程的交互。
8)伪分布式模式也需要配置SSH无密码本机连接本机
分布式模式:运行于多台机器上的真实环境。
hadoop的安装步骤:
1)添加新用户
添加新用户(hadoop):
useradd hadoop
修改用户的密码:
passwd hadoop
2)配置静态IP地址和修改主机名
说明:由于hadoop集群在启动时需要通过固定的主机名或ip地址启动,故必须对虚拟机配置静态ip地址。
3)配置SSH免密码连接
说明:hadoop仅仅是在启动和停止的时候需要主节点通过SSH协议将从节点上面的进程启动或停止。
4)安装JDK
5)配置hadoop
伪分布式模式:
# 1.下载
将安装包hadoop-2.2.0.tar.gz放到/data/software/hadoop/下:
下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/
# 2.解压安装
cd /data/software/hadoop/
mkdir /data/cloud/hadoop/
tar -xvf hadoop-2.2.0.tar.gz -C /data/cloud/hadoop/
# 3.修改配置文件
cd /data/cloud/hadoop/hadoop-2.2.0/etc/hadoop/
vim hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/local/java/jdk1.7.0_75
vim core-site.xml
<configuration>
<!-- 设置提供HDFS服务的主机名和端口号,即NameNode运行的节点 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/data/cloud/hadoop/hadoop-2.2.0/tmp</value>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<!-- 设置hdfs中文件保存的份数,伪分布式设为1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 指定MapReduce是运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vim yarn-site.xml
<configuration>
<!-- 设置reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
# 4.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.7.0_75
export HADOOP_HOME=/data/cloud/hadoop/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
# 5.格式化hdfs
hdfs namenode -format
# 出现以下信息证明格式化成功:INFO common.Storage: Storage directory /data/cloud/hadoop/hadoop-2.2.0/tmp/dfs/name has been successfully formatted
# 6.启动hdfs和yarn
/data/cloud/hadoop/hadoop-2.2.0/sbin
# 6.1先启动hdfs
sbin/start-dfs.sh
# 查看hdfs是否启动成功:jps
3371 Jps
2796 NameNode
2900 DataNode
3275 SecondaryNameNode
# 6.2再启动yarn
sbin/start-yarn.sh
# 查看yarn是否启动成功:jps
3421 ResourceManager
2796 NameNode
2900 DataNode
3785 Jps
3514 NodeManager
3275 SecondaryNameNode
# 7.访问hadoop的管理界面:
HDFS管理界面:http://192.168.1.110:50070
MR管理界面:http://192.168.1.110:8088
hadoop的伪分布式安装
最新推荐文章于 2024-08-12 16:28:33 发布